mysql导入到hive hdfs上显示又数据了 hive表里面什么都没有

如题所述

hdfs显示但是hive里面没有的话,很可能hive配置使用的是自带的deby数据库。hive的配置文件弄好,如果用sqoop的话,把hive的配置文件hive-site.sh拷贝一份到sqoop的conf目录下,让sqoop知道保存的数据是到mysql元数据库的hive。
温馨提示:内容为网友见解,仅供参考
第1个回答  推荐于2017-12-19
基础环境
sqoop:sqoop-1.4.5+cdh5.3.6+78,hive:hive-0.13.1+cdh5.3.6+397,hbase:hbase-0.98.6+cdh5.3.6+115
Sqool和Hive、HBase简介
Sqoop
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的开源工具,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
Hive
不想用程序语言开发MapReduce的朋友比如DB们,熟悉SQL的朋友可以使用Hive开离线的进行数据处理与分析工作。
Hive是基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的sql查询功能,可以将sql语句转换为MapReduce任务进行运行。本回答被提问者采纳

mysql导入到hive hdfs上显示又数据了 hive表里面什么都没有
hdfs显示但是hive里面没有的话,很可能hive配置使用的是自带的deby数据库。hive的配置文件弄好,如果用sqoop的话,把hive的配置文件hive-site.sh拷贝一份到sqoop的conf目录下,让sqoop知道保存的数据是到mysql元数据库的hive。

hive数据库创建分区时提示已存在,但是在hdfs找不到这个分区l路径?_百...
这种情况应该是hive分区已经创建了,hive的元数据已经有了,你还没有给分区插入数据。可以执行show partitions xxxx,看看分区是否已经存在。show create table xxxx,看看表对应的HDFS目录是否有。然后你往分区里插入一点数据,看一下分区目录是否创建。

hive load hdfs文件,成功之后为什么原始文件被删除了
hive的数据是无法更新的,除非去更改hdfs的原始文件,更改原始文件需要生成一个新的文件,十分费事。同时hive是进行海量数据统计分析,无法实时查询。而hbase可以进行数据更新和海量数据的快速查询,弥补hive的不足,同时hbase的语法简直蛋疼,无法友好的进行数据的统计分析,但是hive可以。所以hive和hbase整合...

Hive - 内部表和外部表的区别
首先,内部表和外部表在创建时的语法不同:内部表无需external修饰,而外部表需要。内部表由Hive全生命周期管理,包括元数据和实际数据,drop表时会同时删除数据文件。相反,外部表仅管理元数据,数据文件独立存在,drop表只会删除元数据,数据文件保持。存储路径上,内部表创建时默认存放在Hive的仓库目录,...

hive之hdfs中的location
现在test_select表中有数据存在,且\/data下面也有数据了,查看data目录,发现多了一个文件 此时test_select_3中是没有数据的 然后将\/data下面的000000_0文件中的数据传到test_select_3 result文件内容如下 data目录下多了个result文件 查看test_select和test_select_2表,都显示了result文件中的内容 dat...

mysql同步数据到hive---binlog方式
首先,我们要明确一下总体的思路是什么。总体的思路就是要读取hdfs上的老的历史数据,然后和新的binlog数据合并生成新的快照。其实这中间还涉及到一些其他的细节,比如mysql表结构变更,或者mysql和hive的数据结构不一致的情况。另外我们这边还存在多个db的相同的表导入到hive的一张表中的其他问题,我就不...

hive工作时,数据是存储在mysql还是hdfs
第hive本身是不存储数据的,不论外表、内表,hive的所有数据是存放在hdfs文件系统的。hive表数据是在hdfs中储存的并没有固定的储存格式,hive只保存管理表元数据。国内最常用的是一款基于Hadoop的开源数据仓库,名为Hive,它可以对存储在HDFS的文件数据进行查询、分析。Hive对外可以提供HiveQL,这是类似于...

Hive-内 表和外表的区别
在Hive中,内部表(managed table)和外部表(external table)有着显著的区别。创建内部表时,如`CREATE TABLE zz (name string, age string) LOCATION '\/input\/table_data';`,Hive会默认在HDFS上存储数据,当删除表时,数据和元数据都会一并消失。这种表更像临时存储,不支持数据共享,存储位置通常...

Hive内部表和外部表的区别
内部表,Hive拥有和管理的托管表,创建后默认成为内部表,Hive全面管理表的元数据和数据,生命周期由Hive控制。删除内部表时,元数据和数据均被清除。外部表则管理表的元数据生命周期,数据位于HDFS但不在Hive的管理之下。创建外部表需使用external关键字。删除外部表仅清除元数据,数据文件在HDFS中保持不变...

Hive基础学习
接着,讨论如何将本地文件加载到Hive表中,发现出现全为null的结果,原因是建表时没有指定数据列之间的分隔符,导致加载失败。之后,通过指定分隔符重新加载文件,成功创建了新的表,并验证数据正确加载。进一步探讨将HDFS文件加载到Hive表的方法,包括本地文件上传到HDFS、创建表并指定分隔符、执行加载命令...

相似回答