使用sqoop2把hive表导出道pgsql时报错,数据只导出了一部分,如何解决?

18/10/11 16:30:39 INFO mapreduce.Job: Running job: job_1539239753824_0018
18/10/11 16:30:45 INFO mapreduce.Job: Job job_1539239753824_0018 running in uber mode : false
18/10/11 16:30:45 INFO mapreduce.Job: map 0% reduce 0%
18/10/11 16:30:56 INFO mapreduce.Job: map 19% reduce 0%
18/10/11 16:30:59 INFO mapreduce.Job: map 27% reduce 0%
18/10/11 16:31:01 INFO mapreduce.Job: map 100% reduce 0%
18/10/11 16:31:02 INFO mapreduce.Job: Job job_1539239753824_0018 failed with state FAILED due to: Task failed task_1539239753824_0018_m_000000
Job failed as tasks failed. failedMaps:1 failedReduces:0

18/10/11 16:31:02 INFO mapreduce.Job: Counters: 8
Job Counters
Failed map tasks=1
Launched map tasks=1
Rack-local map tasks=1
Total time spent by all maps in occupied slots (ms)=13204
Total time spent by all reduces in occupied slots (ms)=0
Total time spent by all map tasks (ms)=13204
Total vcore-milliseconds taken by all map tasks=13204
Total megabyte-milliseconds taken by all map tasks=13520896
18/10/11 16:31:02 WARN mapreduce.Counters: Group FileSystemCounters is deprecated. Use org.apache.hadoop.mapreduce.FileSystemCounter instead
18/10/11 16:31:02 INFO mapreduce.ExportJobBase: Transferred 0 bytes in 24.5676 seconds (0 bytes/sec)
18/10/11 16:31:02 WARN mapreduce.Counters: Group org.apache.hadoop.mapred.Task$Counter is deprecated. Use org.apache.hadoop.mapreduce.TaskCounter instead
18/10/11 16:31:02 INFO mapreduce.ExportJobBase: Exported 0 records.
18/10/11 16:31:02 ERROR mapreduce.ExportJobBase: Export job failed!
18/10/11 16:31:02 ERROR tool.ExportTool: Error during export:
Export job failed!
at org.apache.sqoop.mapreduce.ExportJobBase.runExport(ExportJobBase.java:445)
at org.apache.sqoop.manager.SqlManager.exportTable(SqlManager.java:931)
at org.apache.sqoop.tool.ExportTool.exportTable(ExportTool.java:80)
at org.apache.sqoop.tool.ExportTool.run(ExportTool.java:99)
at org.apache.sqoop.Sqoop.run(Sqoop.java:147)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:70)
at org.apache.sqoop.Sqoop.runSqoop(Sqoop.java:183)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:234)
at org.apache.sqoop.Sqoop.runTool(Sqoop.java:243)
at org.apache.sqoop.Sqoop.main(Sqoop.java:252)

1个回答

hive的表字段是4个string,一个int,一个timestamp,对应pg里面是4个text,一个integer,一个timestamp

sqoop export --connect jdbc:postgresql://192.168.136.151:5432/test --username postgres --password 'postgres' --table t_merchant_infocontent --export-dir /user/hive/warehouse/userdb.db/t_merchant_infocontent_for_mysql/* --input-fields-terminated-by '\t'

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
hive数据迁移 导表
!/bin/bashhive -e “use ana_crmpicture;show tables;” > tables.txt sleep 3 cat tables.txt |while read eachline do hive -e “show create table ana_crmpicture.$eachline” >>tablesDDL.txt done
hive表导出到mysql报错
Exception in thread "main" java.lang.NoClassDefFoundError: org/json/JSONObject hadoop@hadoop-virtual-machine:~/app/sqoop-1.4.6-cdh5.7.0$ bin/sqoop export --connect jdbc:mysql://localhost:3306/dbtaob...
KETTLE导数据进HIVE报错
KETTLE导数据进HIVE报错rn[img=https://img-bbs.csdn.net/upload/201801/24/1516786638_780507.png][/img][img=https://img-bbs.csdn.net/upload/201801/24/1516786644_431286.png][/img]rn
pgsql 导库
mongoimport -d csic_platform -c personnel_base_infos --upsert /Users/mting/Downloads/personnel_base_infos.bson mongorestore -h $(DBHOST) -d $(DBNAME) csic_api_dev -u $(USERNAME) -p $(DBPASSWORD) --dr...
oracle 导表报错
导入pdm时报rnrnD:\>imp ectrip_dmp/ectrip@orcl file=d:\newjzg.pdmrnrnImport: Release 10.1.0.2.0 - Production on 星期五 9月 11 10:29:47 2009rnrnCopyright (c) 1982, 2004, Oracle. All rights reserved.rnrnrnConnected to: Oracle Database 10g Enterprise Edition Release 10.1.0.2.0 - ProducrntionrnWith the Partitioning, OLAP and Data Mining optionsrnrnIMP-00037: Character set marker unknownrnIMP-00000: Import terminated unsuccessfullyrnrn请问怎么解决
mysql只导数据
mysqldump --no-create-info -u root --password=tvlink VSMNG>vsmng.20111208   仅仅将数据导出而不导出表结构   其他相关导数据方法   http://www.zhuye123.com/Article/188/191/2009/2009090558268.html...
kettle 从oracle数据库导数据到hive 表
由于公司要把oracle 数据库迁移到hive ,hbase 环境,特建议使用kettle做数据迁移,调试3个小时,终于调试成功,顺手写了个配置文档。
sqoop导数据到hive失败
1、sqoop异常现象: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidObjectException(message:There is no database named dw) 2、hive.log:        2016-08-23 16:1
跨数据导表
oracle 数据库A 有user表,数据库B也有user表,怎么把A数据库的user表导入到B数据库user表中rn表结构一样rn 在sqlplus里面实现怎么来呢,rn copy from userA/passworA@atabaseA to userB/PassworB@databaseBrnappend user using select * from userrnrn这个语句怎么不行呢,rn 弄过的帮忙看下..谢谢!!!rn
MongoDB往Hive导数据
注:这里用Hive泛指数据仓库,数据还是存储在HDFS里。想要从MongoDB往Hive导数据主要有两种方式。
数据库数据导表
需求:将表2所有数据、或指定数据导入表1   1、表1和表2结构相同 INSERT INTO table1 SELECT * FROM table2 ;   2、表1和表2结构不同 INSERT INTO table1(channel_no,product_code) SELECT channel_no,product_code FROM table2;...
导入文本文件到数据窗口时,只导入了一部分就停了。不知如何解决
导入文本文件到数据窗口时,只导入了一部分就停了。检查数据格式后,没有发现数据不合法的情况,好像是导入时受文件大小的影响。我导入的文本大约有500行,只导入了300行左右,导入的字段大概在40个左右。不知如何解决,请高手指教。
Hive表导出到mysql表异常
将hive表中数据导出到Mysql的表出现异常 一 异常来源: 将hive中带有中文的字段表的数据导入的mysql中出现异常异常命令如下: [zkpk@master bin]$ ./sqoop export --connect jdbc:mysql://202.196.38.98:3306/online --username hadoop --password  sivc303
Allegro导入网表报错
文章首发于同名微信公众号:DigCore 欢迎关注同名微信公众号:DigCore,及时获取最新技术博文。   E- (SPMHGE-82): Pin numbers do not match between symbol and component. Run dev_check on device file for more information. 错误号82:原理图引脚号与封装引脚号对应...
导数据啊导数据
我想把本地一个数据库中的AAA表 中的所有数据导到另一个数据库中去 表名表结构和数据都导过去怎么弄啊?
如何把A表的数据导至B表中?
已知:rnrnA 数据库 mydatabase_a 中有A表 mytable_arnB 数据库 mydatabase_b 中有B表 mytable_brnrn两个表结构一样,请教如何导入数据? A ==> Brnrnrn还有没有复制的方法,即B数据库没有 mytable_b,将 A数据库中的mytable_a直接复制到B数据库中,为 mytable_brn(和上面结果一样,只是从创建表结构,至导入数据一步完成……)
如何把excle的数据导到数据库里?
用户提供的数据没有编号,rn而我数据库中id是自动增长的?我把对应关系设成忽略就抱错。rn我的id字段为主建,我如何设置呢?rn大家帮帮我好吗!
oracle 如何 导表
两种方式 ,第一种方便 ,第一种执行导入没有反应的话 可以用第二种。 1. 方法一:利用PL/SQL Developer工具导出: 菜单栏---->Tools---->Export Tables,如下图,设置相关参数即可: 1,打开“开始”-->输入cmd—> 2,将D:\daochu.dmp 中的数据导入 TEST数据库中。在此之前,要明确,
GridView 导数据EXCEL 报错
html代码如下:rn<%@ Page Language="C#" AutoEventWireup="true" CodeFile="FaBankCardManage.aspx.cs" Inherits="FaMgmt_FaBankCardManage" %>rnrnrnrnrnrn Untitled Pagernrnrn rn rnrn rn rn rn rn rn rnrn rn rnrn rnrnrn事件代码如下:rnprotected void btnPrint_Click(object sender, ImageClickEventArgs e)rn rn Response.Clear();rn Response.AddHeader("content-disposition", "attachment;filename=File.xls");rnrn Response.Charset = "";rnrnrn Response.ContentType = "application/vnd.xls";rn Response.ContentEncoding = System.Text.Encoding.GetEncoding("GB2312");rnrn System.IO.StringWriter stringWrite = new System.IO.StringWriter();rnrn System.Web.UI.HtmlTextWriter htmlWrite = new HtmlTextWriter(stringWrite);rnrn GridView1.RenderControl(htmlWrite);rnrn Response.Write(stringWrite.ToString());rnrn Response.End();rnrn rn错误信息为:rnControl 'GridView1' of type 'GridView' must be placed inside a form tag with runat=server. rn错误代码为 GridView1.RenderControl(htmlWrite);rn
导数据时出现的问题,跪求解决
小弟今天在导数据时出现了如下问题:SQL3119W The field value in row "109515" and column "1" cannot be convertedrnrnto an INTEGER value. A null was loaded.rn所有的数据都是报这个错误,一条数据都没导进去。rn我是将oracle的数据导入到db2数据库时出现的这个问题。下面是oracle数据的表结构rncreate table BANKDEPTrn(rn deptseq INTEGER not null,rn branchseq INTEGER not null,rn deptid VARCHAR2(32) not null,rn deptname VARCHAR2(64) not null,rn addr VARCHAR2(128),rn zipcode CHAR(6),rn phone VARCHAR2(32),rn email VARCHAR2(32),rn deptstate CHAR(1) not null,rn depttype CHAR(1) default '1' not null,rn parentdeptseq INTEGERrn)rndb2的表结构rncreate table bank_dta.BANKDEPTrn(rn deptseq INTEGER ,rn branchseq INTEGER ,rn deptid VARCHAR(32) ,rn deptname VARCHAR(64) ,rn addr VARCHAR(128),rn zipcode CHAR(6),rn phone VARCHAR(32),rn email VARCHAR(32),rn deptstate CHAR(1) ,rn depttype CHAR(1) default '1' ,rn parentdeptseq INTEGERrn);rn为什么会出现这个问题?
使用Kafka-Connector导数据
从mysql导数据到kafka1、kafka confluent   介绍  link     。。。2、kafka connector-jdbc   介绍 link    先安装kafka,然后下载confluent的包,默认这个安装包中已经包含了kafka、zookeeper等一些列kafka相关的东西。看实际情况。我这里是已经自己安装了apache kafka 。  启动 schema.re...
使用sqoop导数据
将mysql中的数据导入到hdfs中使用命令 ./sqoop import --connect jdbc:mysql://192.168.124.140:3306/urldb --username root --password luxing --table testSqoop --m 1 其中urldb是数据库名称 testSqoop是表名 导入数据为1条 使用sqoop从mysql...
如何把Oracle表导到Geodatabase
我使用TableToGeodatabase工具把Oracle表导到Geodatabase,程序如下:rnGeoprocessor GP = new Geoprocessor();rnTableToGeodatabase t = new TableToGeodatabase();rnt.Input_Table = dt2;rnt.Output_Geodatabase = txt_lj.Text;rnGP.Execute(t, null);rn但是dt2是DataTable类型,与Input_Table的类型不匹配,导入失败,请问如何解决?
如何把Excel表导出到Web页面?
想实现这样的效果:点击左边标题,在右边的表格容器内导出Excel表。
Sqoop导Oracle数据到Hive
Sqoop导Oracle数据到Hive,代码清晰一目了然
hive导出到csv
hive -e "set hive.cli.print.header=true; sql语句" |grep -v "WARN" &gt; 文件路径/文件.csv
如何导如数据
我要把后缀名.sql的数据导入数据库请问怎么操作rn 我的数据库名为phpbook.sql导入到C盘的easyphp/mysql/data里面rnrn谢谢rnrn菜鸟问题
如何导数据快
从一个表中将部分数据导入另一个表如何速度最快。rn表里的数据大约要有600万条记录吧。呵呵,每月都要导一次的。不是一次性的工作。rn普通的insert 可能要很慢了啊。请教一下有什么好的方法。
sql2008导数据多出表
RTrnrn多出的表跟导入表名称一样rnrn有一点不同rnrn导入的表显示dbo.Coursern而多出的表名称显示的是C302195.Coursernrn我的数据库名称是C302195_crusherrnrn这是什么原因rnrn如果复制2个表的名称都是Coursernrn求解答
如何导数据?
如何一次将一个数据库服务器中的某个数据库全部导如另外一个数据库中?rn(包含数据,存储过程。。。),最好能给出操作顺序
如何定时导数据
需要每天定时将指定目录下的所有的文件(*.dbf)导入到SQL Server数据库中。rn文件是这样命名的:类别日期单位号.dbf,如:dl04002.dbf,要求将单位编号、日期信息也保存到数据库中。rnrn由于每天的日期不同,因此每天要处理的文件名也是不同的。rnrnrn可否用SQL Server的DTS包来实现?
动态导表时如何加密!
请问在用SQL动态的导出数据库部分表的时候,如何对导出的表进行加密????
如何导数据
在oracle中,我要把远程服务器上的数据库导到我自己机子上的ORACLE里做调试,谁能告诉我具体的方法啊。rn exp导出来的只能是.dmp的文件吗,从其他数据库可以直接导到我的数据库不?rn 在线等答案!!
bcp如何导数据?
EXEC master..xp_cmdshell 'bcp "Select * from dbname..tablename where 字段名>'值'" queryout c:\DT.txt -c -Sservername -Usa -Ppassword'rn 问题来了,如果没有 where 字段名>'值'这部分可以,加上后提示有问题,去掉 值 两边的单引号也可运行但输出结果没有控制条件,估计是单引号的问题,高手指教!!
数据库如何导数据。
我们开发了一个新的系统用的是MySql数据库,不过原来的数据库是SQlServer的。并且这2库中的表结构都有很大的差异。现在我要把原来SQlServer中的数据导到MySql这个库中。能做到吗?两个库的表结构是不相同的。
sybase 如何导数据
请问如何从sybase中导出数据来。结果希望是rninser into tableName values(。。。。)的那种格式,然后直接运行该语句就可以很方便的导入其他数据库。
表间导数据的问题
表的结构和需求如下:rn表1rn编号 值 序号rnB 100 1rnB 150 2rnB 160 3rnrnC 210 1rnC 130 2rn.....rn转化成rn表2rn编号 序号1 序号2 序号3rnB 100 150 160rnC 210 130 rn用什么办法把表1中的数据弄到表2中,且速度比较快?? rn我用的pb中的数据窗口,总感觉这样速度比较慢rn
导表的数据SQL语句
从 ECard_Card导入数据.ECard_Card_bak (新表)中。 select * into WebHREngine(数据库).dbo.ECard_Card_bak(表名) from ECard_Card
把xls的数据导到Hbase
这属于Hbase的一个例子,不过Hbase的例子有点问题,需要更改下。 其实我感觉Hbase属于一个BigTable,感觉和xls真的很像,闲话不说了,上code才是王道。 Java代码         import java.io.IOException;       import org.apache.hadoop.conf.Configuration;   ...
如何导一批数据到相关联的表
表1:rnCOL1 COL2rnA BB,CC,DDrnE FF,GG,HHrnrn表2:rnID COL1rn1 Arn2 Brnrn表3:rnID ID2 COL2rn1 1 BBrn2 1 CCrn3 1 DDrn4 2 FFrn5 2 GGrn6 2 HHrnrn要求:rn1.写一个过程,把表1的数据分开导入到表2和表3中。rn2.表2和表3中的ID是自增长的identity(1,1),如果里面原来有数据,可以不从1开始。表3中的ID2对应表2中的ID。rn3.不能使用游标。rn4.写成一个通用的,不能只针对这两行数据,表1.COL2也可能是多个逗号分隔的多个字符串。
相关热词 c#入门推荐书 c# 解码海康数据流 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池 c#5.0 安装程序 c# 分页算法