使用sqoop2把hive表导出道pgsql时报错,数据只导出了一部分,如何解决?

18/10/11 16:30:39 INFO mapreduce.Job: Running job: job_1539239753824_0018
18/10/11 16:30:45 INFO mapreduce.Job: Job job_1539239753824_0018 running in uber mode : false
18/10/11 16:30:45 INFO mapreduce.Job: map 0% reduce 0%
18/10/11 16:30:56 INFO mapreduce.Job: map 19% reduce 0%
18/10/11 16:30:59 INFO mapreduce.Job: map 27% reduce 0%
18/10/11 16:31:01 INFO mapreduce.Job: map 100% reduce 0%
18/10/11 16:31:02 INFO mapreduce.Job: Job job_1539239753824_0018 failed with state FAILED due to: Task failed task_1539239753824_0018_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0

18/10/11 16:31:02 INFO mapreduce.Job: Counters: 8
Job Counters
Failed map tasks=1
Launched map tasks=1
Rack-local map tasks=1
Total time spent by all maps in occupied slots (ms)=13204
Total time spent by all reduces in occupied slots (ms)=0
Total time spent by all map tasks (ms)=13204
Total vcore-milliseconds taken by all map tasks=13204
Total megabyte-milliseconds taken by all map tasks=13520896
18/10/11 16:31:02 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead
18/10/11 16:31:02 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 24.5676 seconds (0 bytes/sec)
18/10/11 16:31:02 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead
18/10/11 16:31:02 INFO mapreduce.ExportJobBase: Exported 0 records.
18/10/11 16:31:02 ERROR mapreduce.ExportJobBase: Export job failed!
18/10/11 16:31:02 ERROR tool.ExportTool: Error during export:
Export job failed!
at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445)
at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931)
at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80)
at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

0

1个回答

hive的表字段是4个string,一个int,一个timestamp,对应pg里面是4个text,一个integer,一个timestamp

sqoop export --connect jdbc:postgresql://192.168.136.151:5432/test --username postgres --password 'postgres' --table t_merchant_infocontent --export-dir /user/hive/warehouse/userdb.db/t_merchant_infocontent_for_mysql/* --input-fields-terminated-by '\t'

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
使用Sqoop2从SqlServer数据库导入数据到Hdfs,再导入Hive2表中
  前言          最近在使用Sqoop2从Mysql,Oracle, SqlServer导入数据到HDFS,Mysql和Oracle的导入还比较简单,但是SqlServer导入过程中遇到了几个小问题,跟大家分享下,希望对遇到类似问题的朋友有点小帮助:Sqoop2创建Link        关于Sqoop2与Sqoop1的区别,安装与部署,可以点击这里看看这篇文章,这位大牛写的非常详细。要...
Java api 调用Sqoop2进行MySQL-->Hive的数据同步
1.相关jar包 2.一些需要的参数定义在message.properties中 jdbcHiveUrl=jdbc:hive2://10.1.9.91:10000 //hive地址 jdbcHiveDriver=org.apache.hive.jdbc.HiveDriver // hive驱动 jdbc_mysql_driver=com.mysql.jdbc.
sqoop2从hdfs中导入到mysql
数据准备:hive数据库文件     例路径为:/user/hadoop/hive/test 在mysql创建与hive中数据库结构一样的数据库。 启动sqoop2服务  $ sqoop2-server start 登录客户端  $ sqoop2-shell 创建数据库对象: 创建hdfs的link对象: 创建一个job作业: 启动这个job作业:start job -j...
postgresql导入数据到hive
整张表导入 在linux环境中运行: [root@dthost27 ~]# sqoop import --connect jdbc:postgresql://192.168.xxx.xxx:5432/pgsql_db --username user11 --password 123456 --table pgsql_table11 --hive-import --hive-database ...
使用sqoop将hive数据导入mysql数据库中出现中文乱码的解决办法
一、打开mysql数据库,查看数据库编码格式如下: mysql> show variables like 'character%'; +--------------------------+----------------------------+ | Variable_name | Value | +-------------...
sqoop2 java API从oracle导数据到HDFS开发总结
除了代码还有总结内容,代码主要实现了从sqoop1.99.7从oracle导出数据到HDFS某目录;总结内容是一些踩坑的总结,还有一些坑的说明在代码注释里;灵活利用,可以帮助你跑通oracle到hdfs的过程。
sqoop导出hive表数据到mysql
直接在mysql里从本地文件系统导入数据 mysql》LOAD DATA LOCAL INFILE 'C:\\Users\\asys\\Documents\\Tencent Files\\13174605\\FileRecv\\2015082818' INTO TABLE track_log  FIELDS TERMINATED BY '\t' LINES TERMINATED BY '\r'
SQOOP 导出Hive数据到MySQL
基本知识:Sqoop导出的基本用法:https://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_syntax_4  的10. sqoop-export内容摘要:本文主要是对--update-mode参数的用法进行了验证。结论如下:--update-mode模式有两种updateonly(默认)和allowinsertupdateonly:该模式...
Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题
Sqoop导入sqlserver数据到HDFS和hive上的配置需求及问题 1.安装,下载安装包解压即可 2.在系统环境变量中设置HADOOP_HOME,指向安装目录; 3. 3.在系统环境变量中设置SQOOP_HOME与SQOOP_CONF_DIR;SQOOP_HOME = sqoop安装的根目录;SQOOP_CONF_DIR=$SQOOP_HOME/conf; 4.首先配置jdbc的SqlSe...
pgsql导出数据和导入数据踩到的坑,如何对表进行数据库迁移
项目中因为涉及到大面积数据跨数据库查询,为了降低延迟以及性能,决定进行数据表的跨数据库迁移到同一数据库。 目前是先在库上新建同样表结构的空表,空表的sql语句可以直接在pgadmin点击原表,在右方显示,把所有表语句写在一起,分号隔开统一在新数据库执行,得到了没有数据的新库里的原表。假定数据库和表为database1,database2,table1,table2 在安装好postgre...
使用Datax将Hive数据迁移到Postgresql
将Hive的表数据导入到postgresql的表 数据量大概8千多万 Hive表采用orc格式,snappy压缩 { "job": { "setting": { "speed": { "byte":1048576, "channel":1 }, ...
pgSQL数据导入到Hbase,hive
pgSQL-->hbase 1-hbase shell 2-hbase建表: create 'hb_init_shop','detail' 3-sftp 复制Python脚本 cd /home/bigdata/bigdata_scripts/bigdata/scripts/bin sftp> put -r "/Users/MP/Desktop/bigdata/scripts/b...
sqoop 从HIVE导出表到MYSQL
根据HIVE的分割符来确定是用/001还是/t还是',',hive默认的分割符是/001. sqoop export --connect jdbc:mysql://localhost:3306/test --username xxx --password xxxx --table result_oltuserflowdiscard --export-dir /user/hive/warehou...
在hive中分析数据然后将数据导出到mysql中练习
模块需求一: hourly分析:统计一天24个小时中,每个小时内的活跃用户数、会话个数、会话长度 针对模块需求一,在mysql中创建对应结果表,使用sqoop将结果导出到mysql结果表中。--sqoop语句及mysql的结果表截图!! ----- 先创建外部映射hbase表中相关的列: 在hive中: CREATE EXTERNAL TABLE event_logs( rowk
sqoop2 去除单引号与自定义分隔符
1、缘由(需求)       正在做oracle到hive的数据导入,遇到数据分隔问题,sqoop2 默认分隔式逗号,我使用hive 也是逗号分隔,发现数据中含有逗号的字段,hive把它分成了好几个。于是去网上找自定义分隔的解决方法,但是无奈这方面的资料很少。不解决此问题,工作无法进行。胜了最后一个法宝,编译源码。 2、去下载跟你使用的一个版本的sqoop2 源码(最好),使用maven构建,
使用Sqoop将Hive表数据导入到mysql
通过Sqoop将Hive表数据导入到Mysql通常有两种情况。 第一种是将hive上某张表的全部数据导入到mysql对应的表中。 第二种是将hive上某张表中的部分数据导入到mysql对应的表中。 两种方式的区别在于第二种情况需要指定要导入数据的列名称。两种情况的导入方式分别如下: 1.全部导入 Sqoop export --connect  jdbc:mysql://127.0.0.1
Sqoop将SQLServer数据表导入HDFS
sqoop将关系型数据库,导入到hadoop集群中,供大家参考,一起学习。
sqoop 将数据从hive导到mysql中出现的问题
sqoop版本为1.4.6    一开始使用指定hdfs目录的sqoop脚本导数据sqoop export  \ --connect jdbc:mysql://172.16.2.52:4307/databasename \ --username user \ --password pass \ --table tablename \ --export-dir /user/hive/warehous...
Sqoop从HDFS导出Hive表到Mysql的shell脚本
因统计需求,要指将Spark SQL计算好的结果,从Hive导出到Mysql数据库,于是写了个批量导的脚本。 运行参数: 开始时间 结束时间 注意点: 1. 在shell中,sqoop语句的每一行末尾不能有多余的空格,否则执行时报错! 2. shell中的if条件判断,只能是数字和才能比较大小,需要将时间转成时间戳! 代码如下: #!/bin/bash source /etc/pr...
使用sqoop将数据从oracle导入到Hive
1、基本环境篇    操作系统:Ubuntu 16.04 LTS    Hadoop:2.92、安装及配置mysql   (1)安装mysql  $ sudo apt-get update    $ sudo apt-get install mysql-server   (2)启动mysql         $ service mysql start   (3)设置mysql开启自启动 $...
hive查询导出到hdfs,hive,file
elease_date_10' select release_date from item limit 10;   insert overwrite table data2 partition(dt='1997-12') select * from data where from_unixtime(timestamp, 'yyyy-MM') = '1997-12';   导入到hive load data local inpath '${OUTPUT}/hive_subscribe_biz.*.$
oracle11g exp导出问题:部分表导不出来
在oracle导出表的命令exp时候发现一个问题,就是部分表完全的导不出来,经检查发现只要是表为空的都会导不出来。 在如下表中发现segment_created都为NO的是导不出来的,经查询后,将语句提取出来执行即可。 select 'alter table '|| table_name ||' allocate extent;'  from user_tables where segmen
解决sqoop将数据导入mysql乱码
mysql 字符集修改: (5.5以前系统)#vim /etc/mysql/my.cnf 。 在【client】下面加入 default-character-set=utf8 Notice:注意 如果修改后不能启动报错试试把default-character-set=utf8改为character_set_server=utf8,仅仅加入到mysqld下面的.client就不需要加了 ...
Sqoop把hive中的数据导出到mysql中
首先            官网上对sqoop的定义是: Sqoop是一个被设计用来在hadoop大数据平台和结构化数据库(比如关系型数据库)之间传输批量数据的一个工具。既然是一个工具那么用起来应该是比较简单的,可是实际操作时总会出现这样或者那样的错误。 由于工作中会有各种各样的需求,但是大多最终计算的结果都要以excel的形式给到需求方,数据量不太大的时候可以使用navicat自带的导...
Sqoop 把表导入 hive 出现的问题解决汇总
以下解决方案都是亲测可用的, 但不保证相同但处理方案 错误1. Could not load org.apache.hadoop.hive.conf.HiveConf. Make sure HIVE_CONF_DIR is set correctly. 18/10/12 00:10:07 ERROR tool.ImportTool: Import failed: java.io.IOExcep...
Sqoop 从hdfs中把数据导出到oracle
Sqoop 从hdfs中把数据导出到oracle
Sqoop导出数据到MYSQL问题
2015-12-28 11:09:19,403 INFO [Thread-12] org.apache.sqoop.mapreduce.AutoProgressMapper: Auto-progress thread is finished. keepGoing=false 2015-12-28 11:09:19,484 ERROR [Thread-11] org.apache.sqoop.map
如何将Hive仓库中的查询结果导出到本地文件
我在hive仓库中有个表,已经使用HQL跑出来结果,存到了hive中。表的schema如下 show create table test_xiaoxiannv.dw_clickadvert_daily; CREATE EXTERNAL TABLE test_xiaoxiannv.dw_clickadvert_daily( id int, ip string, time str...
Sqoop通过Phoenix导hbase数据到hive
出现此问题时使用:java.lang.NullPointerException at org.json.JSONObject.<init>(JSONObject.java:144) at org.apache.sqoop.util.SqoopJsonUtil.getJsonStringforMap(SqoopJsonUtil.java:43) at org.apache.sqoop.SqoopOptions.writeProperties(SqoopOptions.java:784) at org.apache.sqoop.mapreduce.JobBase.putSqoopOptionsToConfiguration(JobBase.java:392) at org.apache.sqoop.mapreduce.JobBase.createJob(JobBase.java:378) at org.apache.sqoop.mapreduce.ImportJobBase.runImport(ImportJobBase.java:256) at org.apache.sqoop.manager.SqlManager.importQuery(SqlManager.java:748) at org.apache.sqoop.tool.ImportTool.importTable(ImportTool.java:515) at org.apache.sqoop.tool.ImportTool.run(ImportTool.java:621) at org.apache.sqoop.Sqoop.run(Sqoop.java:147) at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70) at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234) at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243) at org.apache.sqoop.Sqoop.main(Sqoop.java:252)
使用 sqoop从MySQL增量导出数据到hive
使用 sqoop从MySQL增量导出数据到hive本文主要解释incremental参数下append模式和lastmodified模式的区别,想要了解具体其他参数请参考官方文档: http://sqoop.apache.org/docs/1.4.6/SqoopUserGuide.html#_importing_data_into_hive- 首先测试append模式/usr/bin/sqoop
hive表导出到mysql报错
Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject hadoop@hadoop-virtual-machine:~/app/sqoop-1.4.6-cdh5.7.0$ bin/sqoop export --connect jdbc:mysql://localhost:3306/dbtaob...
hive学习笔记——Hive表中数据的导入和导出
在创建数据表的过程中,Hive表创建完成后,需要将一些数据导入到Hive表中,或是将Hive表中的数据导出。 一、将数据导入Hive表 Hive表的数据导入主要有三种方式: 从本地文件系统中导入数据到Hive表中从HDFS上导入数据到Hive表中从别的表中查询出相应的数据导入到Hive表中在创建Hive表时通过从别的表中查询并插入的方式将数据导入到Hive表中 1、从本地文件系统中
sqoop 将hive数据导出mysql,map reduce卡住问题
直接上图给初入坑的小伙伴看看问题的样子查看日志没有报错,各种百度......最后对了一下mysql的表字段和hive的表字段才发现有一个字段没有对上。最后留下一篇记录提醒一下入门的小白。当然,导致问题的原因有多种,只希望能提醒粗心的小白别忘记考虑到字段的对应。...
sqoop与hbase导入导出数据
环境:sqoop1.4.6+hadoop2.6+hbase1.1+mysql5.7 说明: 1.文中的导入导出的表结构借鉴了网上的某篇博客 2.mysql导入hbase可以直接通过sqoop进行 3.hbase导出到mysql无法直接进行,需要经过hive的中间作用来完成 hbase→hive外部表→hive内部表→sqoop导出→mysql一、Sqoop导入hbasea) Mysql创建
linux中sqoop实现hive数据导入到mysql
上一篇文章我们简单的介绍《http://blog.csdn.net/a123demi/article/details/72742553》,本文将简单介绍如何通过sqoop把hive数据导入到mysql。 一. 前期准备 实践本文内容,默认您已经安装和部署了hadoop,mysql,hive,sqoop等环境。如相关安装和部署有问题,可以参考《http://blog.csdn.net/a123demi/article/details/72742553》。 二. sqoop实现hdfs文件导出 2.1 hi
SQOOP从mysql导入数据到hive问题
需要将mysql一张表的数据导入到hive表当中 初始的执行命令如下: sqoop import --connect jdbc:mysql://10.1.x.x:3306/dbname?characterEncoding=utf-8 --username root --password 123456 --table test --target-dir /home/hdfs/data/t...
使用Sqoop将Oracle数据导入Hive
使用Sqoop将Oracle数据导入Hive的核心指令是,这段是我经常用的,有些地方做了处理 sqoop import --connect jdbc:oracle:thin:eas/eas@192.168.100.199:1521:eas --table TMP_NEEDCLEAN_PROVIDER2 --hive-import --hive-database xxx --hiv...
sqoop从db2导入到hive问题
[size=x-small]我今天从db2导一张表到hive中,导入完成后,发现hive中表的条目数和db2源表的条目数不相同,hive中表的数据量比db2中的数据量多,而且cust_name这个字段是存储客户名称的,客户的名称也被截断了,比如名称叫“胡雪” 的客户,当抽取到hive中的时候,就变成“胡 ”了,不知到什么原因,有遇到同样的问题吗?...
用sqoop将mysql的数据导入到hive表中,原理分析
Sqoop 将 Mysql 的数据导入到 Hive 中 准备Mysql 数据 如图所示,准备一张表,数据随便造一些,当然我这里的数据很简单。 编写命令 编写参数文件 个人习惯问题,我喜欢把参数写到文件里,然后再命令行引用。 vim mysql-info, # 配置数据库连接信息 --connect jdbc:mysql://192.168.33.11:3306/sqoop_test --user...
Sqoop从MySQL导入数据到Hive的Shell脚本
因工作需求,要将mysql的数据导入到Hive中通过Spark SQL进行分析,经过一翻周折,完成了这个自动化脚本,算是实现需求的第一步,也算是在Shell编程这条路上算是迈出了第一步。 mysql中每天一张表,hive中一个表,按时间分区,如dt=180820. 以下是导数据的Shell脚本: #!/bin/bash source /etc/profile host=127.0.0.1 ...