查询用sqoop从mysql中导入到hive中的表格,显示格式有问题

mysql中的原始数据如下:
图片说明

通过如下命令将此表格导入到hive中

bin/sqoop import --connect jdbc:mysql://192.168.12.69:3306/userdb --username root --password 123 --table emp --fields-terminated-by '\001' --hive-import --hive-table sqooptohive.emp_hive --hive-overwrite --delete-target-dir --m 1

导入成功后,从hdfs系统中下载下来对应的文件内容为:
图片说明
在hive中使用查询语句:

select * from emp_hive;

字段的字权威null了,结果如下:
图片说明

1个回答

导入hive后,hive的建表语句怎么写的,可能是建表的字段类型不对导致的

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
sqoop从MySQL中导入hive中
命令:bin>>导入hive:  ./sqoop import --connect jdbc:mysql://127.0.0.1:3306/test --username root --password root --table info --delete-target-dir --num-mappers 1 --hive-import --hive-database test --h...
sqoop从mysql导入到hive出错
用sqoop从mysql导入到hive出现的错误,有没有人遇到过,怎么解决 [root@master conf]# sqoop import --connect jdbc:mysql://master:3306/test --table test_st2 --username root --password root -m 1 --hive-import Warning: /usr/sqoop/s...
sqoop:使用sqoop工具,把数据从MySQL导入到hive。
sqoop import \ --connect jdbc:mysql://had01:3306/DB_CRY_TEST \ --username root \ --password root \ --table POI_INFO \ --fields-terminated-by "," \ --lines-terminated-by "\n" \ --hive-import \ --hive-o...
用sqoop将mysql的数据导入到hive表中
1、mysql的表结构如下: CREATE TABLE `student` ( `id` int(11) NOT NULL AUTO_INCREMENT, `stu_no` varchar(16) DEFAULT NULL, `name` varchar(64) DEFAULT NULL, `age` int(11) DEFAULT '0', `birthday` date
MySQL表用Sqoop方式导入到Hive表中
将MySQL数据库的表用Sqoop方式导入到Hive中1、首先在Hive中新建数据库MyDB, 2、然后打开putty软件,登录到安装Hive的服务器,输入用户名和密码后,进入到[root@hdp~],利用Sqoop语句按照指定MySQL数据库的表新建Hive表,语句如下:sqoop create-hive-table --connect jdbc:mysql://***.**.***.**:33
用sqoop将MySQL的数据导入到Hive分区表中
在工作中,我们经常遇到的业务就是要将MySQL每天差生的生产数据定时导入到Hive的分区表中,然后根据分区表中的数据进行“数仓建设”,各种数据处理。 那么怎么运用sqoop将MySQL的数据导入到hive的分区表中呐? 首先,不能再用--hive-table, --hive-partition-key, --hive-partition-value这三个参数。因为这样只能向单个分区导入数据,无...
用sqoop将mysql的数据导入到hive表中,原理分析
Sqoop 将 Mysql 的数据导入到 Hive 中 准备Mysql 数据 如图所示,准备一张表,数据随便造一些,当然我这里的数据很简单。 编写命令 编写参数文件 个人习惯问题,我喜欢把参数写到文件里,然后再命令行引用。 vim mysql-info, # 配置数据库连接信息 --connect jdbc:mysql://192.168.33.11:3306/sqoop_test --user...
sqoop从mysql导入数据到hive中
首先安装sqoop(zookeeper等已经成功启动),配置好; 1.下载安装包及解压 tar -zxvf  sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar sqoop   2.配置环境变量和配置文件 cd %SQOOP_HOME% cp conf/sqoop
sqoop从db2导入到hive问题
[size=x-small]我今天从db2导一张表到hive中,导入完成后,发现hive中表的条目数和db2源表的条目数不相同,hive中表的数据量比db2中的数据量多,而且cust_name这个字段是存储客户名称的,客户的名称也被截断了,比如名称叫“胡雪” 的客户,当抽取到hive中的时候,就变成“胡 ”了,不知到什么原因,有遇到同样的问题吗?...
Sqoop将MySQL中数据导入到Hive表中
问题导读:          1、--hive-import、--hive-overwrite的作用?          2、如何处理关系型数据库字段中字符串含有分隔符问题?          3、使用--hive-import默认字段分隔符是?一行记录分隔符是?          4、NULL值是怎么处理的?--null-string和--null-string的作用?
sqoop从mysql导入到hdfs
在看mahout cookbook,p85有个sqoop导入数据到mysql的例子。rnrnsqoop import-all-tables --connect jdbc:mysql://localhost/bbdatabank --user root -P --verbosernrn书上给的导入结果是这样,文件形式:rnrnhadoop fs –lsrnFound 25 itemsrn-rw-rw-rw- 1 hadoop-mahout hadoop 601404 2013-01-15 14:33 TEAMSrn-rw-rw-rw- 1 hadoop-mahout hadoop 601404 2013-01-15 14:33 ALLSTARFULLrn-rw-rw-rw- 1 hadoop-mahout hadoop 601404 2013-01-15 14:33 APPEARANCESrn-rw-rw-rw- 1 hadoop-mahout hadoop 601404 2013-01-15 14:33 AWARDSMANAGERSrn-rw-rw-rw- 1 hadoop-mahout hadoop 601404 2013-01-15 14:33 AWARDSPLAYERSrnrn我的是这样,文件夹形式:rnrnhadoop fs -lsrnFound 25 itemsrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:57 AllstarFullrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:58 Appearancesrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:58 AwardsManagersrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:58 AwardsPlayersrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:58 AwardsShareManagersrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:59 AwardsSharePlayersrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:59 Battingrndrwxr-xr-x - hadoop hadoop 0 2014-09-11 09:59 BattingPostrnrn hadoop fs -ls TeamsrnFound 2 itemsrn-rw-r--r-- 2 hadoop hadoop 0 2014-09-11 10:03 Teams/_SUCCESSrn-rw-r--r-- 2 hadoop hadoop 562368 2014-09-11 10:03 Teams/part-m-00000rnrn难道是我的姿势不对?还是版本关系?或者设置什么的?rn目前还没办法深究,于是问问大家。
解决sqoop从mysql导入到hive表的多分区问题
参考:http://blog.csdn.net/liweiwei71/article/details/23434189 对于分区表 drop table track_log; create table track_log ( id                         string , 。。 curMerchantId              string , provi
SQOOP从MySQL导入数据到Hive
一、导入Hive表时自动创建表 1、执行sqoop语句sqoop import \ --connect jdbc:mysql://hadoop001:3306/sqoop \ --username root \ --password 123456 \ --table emp_etl \ -m 1 \ --hive-import \ --create-hive-table \ --hive-tab
sqoop增量将mysql数据导入到hive中
#!/bin/bash #program date parameter #V_DT=` date "+%Y-%m-%d %H"` V_DT=`date --date="$V_DATE-1 day" +%Y%m%d` V_DT_TWO_AGO=`date --date="$V_DATE-2 day" +%Y%m%d` V_DT_SEVEN_AGO=`date --date="$V_DATE-7 d...
Sqoop将MySQL数据导入到hive中样例
#!/bin/bash #program date parameter yesterday=`date --date="${1} -1 day" +%Y-%m-%d` V_MYSQL_DT=`date --date="${1} -1 day" +%Y%m` HADOOP_HOME=/usr/hdp/2.6.5.0-292/hadoop SQOOP_HOME=/usr/hdp/2.6.5.0-2...
Sqoop 数据导入到Hive中报错 HIVE_CONF_DIR
解决方法:export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/lib/*
sqoop 从mysql数据库导入到hive表格错误解决方法
在将mysql数据库中库名为test,表名为table2 的表导入到hive中时,数据库用户名为hive, sqoop import --connect jdbc:mysql://localhost:3306/test --username hive --password ×××× --table table2 --hive-import 出现一下错误: ERROR tool.ImportToo
Hive数据仓库-Sqoop将数据从Mysql导入Hive中
Sqoop是一个实现在关系型数据库和Hive进行数据交换的工具。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。参数hive导入参数   --hive-home 重写$
Sqoop把hive中的数据导出到mysql中
首先            官网上对sqoop的定义是: Sqoop是一个被设计用来在hadoop大数据平台和结构化数据库(比如关系型数据库)之间传输批量数据的一个工具。既然是一个工具那么用起来应该是比较简单的,可是实际操作时总会出现这样或者那样的错误。 由于工作中会有各种各样的需求,但是大多最终计算的结果都要以excel的形式给到需求方,数据量不太大的时候可以使用navicat自带的导...
使用Sqoop将Hive表数据导入到mysql
通过Sqoop将Hive表数据导入到Mysql通常有两种情况。 第一种是将hive上某张表的全部数据导入到mysql对应的表中。 第二种是将hive上某张表中的部分数据导入到mysql对应的表中。 两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下: 1.全部导入 Sqoop export --connect  jdbc:mysql://127.0.0.1
SQOOP从mysql导入数据到hive问题
需要将mysql一张表的数据导入到hive表当中 初始的执行命令如下: sqoop import --connect jdbc:mysql://10.1.x.x:3306/dbname?characterEncoding=utf-8 --username root --password 123456 --table test --target-dir /home/hdfs/data/t...
Sqoop从mysql导入数据到hive遇到的问题...
这次遇到的坑有点儿玄学。。。。也许是我用的sqoop和hive版本有问题,反正用其他方法解决了 在终端中运行的语句: 语句并没有问题 一开始遇到的情况是这样的: map跑完了100%但是reduce跑都没跑就结束了。。我就很诧异啊 看了hive的日志文件(如果没有修改过,路径就是/tmp/{username}/hive.log,我的用户是root所以路径是/tmp/root/hi...
sqoop 将数据从hive导到mysql中出现的问题
sqoop版本为1.4.6    一开始使用指定hdfs目录的sqoop脚本导数据sqoop export  \ --connect jdbc:mysql://172.16.2.52:4307/databasename \ --username user \ --password pass \ --table tablename \ --export-dir /user/hive/warehous...
sqoop从mysql迁移数据到hive中遇到的问题
INFO mapreduce.Job: Counters: 12         Job Counters                  Failed map tasks=1                 Killed map tasks=3                 Launched map tasks=4                 Rack-lo
Hive中的数据导入到MySQL
需求有一些特殊的场景,需要将Hive中的结构化数据表的数据导入到MySQL中.如果是使用HiveContext去导的话,需要编写代码,然后提交jar包,比较麻烦.可以直接使用Sqoop组件将Hive的数据导入到MySQL中.Sqoop的安装和使用在这里不再赘述了.1.Hive表创建的Hive表及其定义的字段如下:create external table behavior1( city string
使用sqoop从hive中导入数据到hbase
简单的操作 hbase中建表并注入数据 创建一个test的表 create 'test', {NAME=>'f1'} 插入数据 put 'test', 'a001', 'f1:uid', '001' 扫描test scan 'test' 查看结构 describe 'test' 修改表 解锁表 disable 'test' 修改 alter 'te...
sqoop将mysql中的表导入到HBase
需求:将MySQL中的emp表导入到HBase中 emp表:(id int, name varchar(20)) bin/sqoop import \ --connect jdbc:mysql://BPF:3306/bpf \ --table emp \ --hbase-table emp \ --column-family info \ --hbase
linux中sqoop实现hive数据导入到mysql
上一篇文章我们简单的介绍《http://blog.csdn.net/a123demi/article/details/72742553》,本文将简单介绍如何通过sqoop把hive数据导入到mysql。 一. 前期准备 实践本文内容,默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题,可以参考《http://blog.csdn.net/a123demi/article/details/72742553》。 二. sqoop实现hdfs文件导出 2.1 hi
使用sqoop在mysql和hive中导数
hive的数据导入mysql 通过Sqoop将Hive表数据导入到Mysql通常有两种情况。 第一种是将hive上某张表的全部数据导入到mysql对应的表中。 第二种是将hive上某张表中的部分数据导入到mysql对应的表中。 两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下: 1.全部导入 Sqoop export --connect  jdbc...
sqoop将hive的数据导出到mysql中
https://www.cnblogs.com/pejsidney/p/8953422.html
sqoop将Mysql数据导入Hive中
注:笔者用的是sqoop1.4.6版本 一、将Mysql数据导入Hive中命令:sqoop import -Dorg.apache.sqoop.splitter.allow_text_splitter=true --connect jdbc:mysql://xxx:3306/db --username user --password pwd --table tablename --hive-
sqoop数据从mysql导入到hadoop里面
通过此案例可以学习大数据整体开发流程,课程是围绕一个大数据整理流程而做的教学课程,让大家明白大数据不同技术的相互协调,从收集数据,过滤数据,数据分析,数据展示,调度的使用而开发的课程,而且怎么从hadoop,hive应用快速的过度到spark上面而做的整套流程。学完此课程可以企业流程做一个整体的认识。n配套资料-答疑专属答疑群n购买课程后加入qq群 951117762 (备注订单号后四位)
sqoop数据从hadoop导入到mysql里面
通过此案例可以学习大数据整体开发流程,课程是围绕一个大数据整理流程而做的教学课程,让大家明白大数据不同技术的相互协调,从收集数据,过滤数据,数据分析,数据展示,调度的使用而开发的课程,而且怎么从hadoop,hive应用快速的过度到spark上面而做的整套流程。学完此课程可以企业流程做一个整体的认识。n配套资料-答疑专属答疑群n购买课程后加入qq群 951117762 (备注订单号后四位)
Sqoop增量从MySQL中向hive导入数据
Sqoop增量从MySQL中向hive导入数据
利用Sqoop从MySQL数据源向Hive中导入数据
1、执行导入的操作命令:在Sqoop的安装目录下bin目录下执行命令 sqoop import --driver com.mysql.jdbc.Driver --connect jdbc:mysql://数据库主机ip:3306/数据库名?useUnicode=true&characterEncoding=utf-8 --username root --password 密码 --hive-
sqoop更新导入总结,从hive到mysql
首先语句上很简单, sqoop export \ --connect jdbc:mysql://192.0.0.1:13308/test?characterEncoding=UTF-8 \ --username cxk \ --password jinitaimei \ --table test_table \ --columns a,b,c,d,e \ --hcatalog-databa...
Sqoop从MySQL导入数据到Hive的Shell脚本
因工作需求,要将mysql的数据导入到Hive中通过Spark SQL进行分析,经过一翻周折,完成了这个自动化脚本,算是实现需求的第一步,也算是在Shell编程这条路上算是迈出了第一步。 mysql中每天一张表,hive中一个表,按时间分区,如dt=180820. 以下是导数据的Shell脚本: #!/bin/bash source /etc/profile host=127.0.0.1 ...
sqoop 从HIVE导出表到MYSQL
根据HIVE的分割符来确定是用/001还是/t还是',',hive默认的分割符是/001. sqoop export --connect jdbc:mysql://localhost:3306/test --username xxx --password xxxx --table result_oltuserflowdiscard --export-dir /user/hive/warehou...
sqoop从mysql导数据到hive异常
1 异常信息: com.mysql.jdbc.exceptions.jdbc4.MySQLDataException: '18446744073387431615' in column '5' is outside valid range for the datatype BIGINT. at sun.reflect.NativeConstructorAccessorImpl.newIn...
SQOOP通过MyCat从MySQL导入数据到Hive
目录 1. hadoop、hive、sqoop、MySQL、MyCat安装(略) 2. 把MySQL Java链接器的jar文件拷贝到sqoop的lib目录下 3. 测试(必须在sqoop用户下) 4. 注意 5. SQOOP从MySQL导入数据到Hive脚本树形图 6. 计划任务脚本(bim_mysql_hive_wf.sh) 7. 邮件告警(已接入h...
相关热词 c# 去空格去转义符 c#用户登录窗体代码 c# 流 c# linux 可视化 c# mvc 返回图片 c# 像素空间 c# 日期 最后一天 c#字典序排序 c# 截屏取色 c#中的哪些属于托管机制