sqoop从postgre全量抽取数据到hive出现cannot resolve sql type for 1111 10C

最近刚接触sqoop,在使用时出现问题,请问大神们该问题如何解决?
要抽取的postgre表中的extra存在json类型的数据,抽取时出现cannot resolve sql type for 1111 和 no java type for sql type for column extra错误,根据https://blog.csdn.net/Post_Yuan/article/details/79799980和https://blog.csdn.net/lookqlp/article/details/52096193看了两篇文章,对sqoop语句做了如下修改:
最开始没有加--map-column-hive Extra=String \和--map-column-java Extra=String \的sqoop语句如下
sqoop import \
--connect jdbc串\
--username 用户名 \
--password 密码\
--table 表名 \
--null-string '\N' \
--null-non-string '\N' \
--hive-overwrite \
--hcatalog-database hive数据库名\
--hcatalog-table hive中创建好的表名 \
--hcatalog-partition-keys dt \
--hcatalog-partition-values 20180913 \
--as-parquetfile \
-m 1
此时报错cannot resolve sql type for 1111 和 no java type for sql type for column extra
加上--map-column-hive Extra=String \和--map-column-java Extra=String \
sqoop import \
--connect jdbc串\
--username 用户名 \
--password 密码\
--table 表名 \
--null-string '\N' \
--null-non-string '\N' \
--map-column-hive Extra=String \
--map-column-java Extra=String \
--hive-overwrite \
--hcatalog-database hive数据库名\
--hcatalog-table hive中创建好的表名 \
--hcatalog-partition-keys dt \
--hcatalog-partition-values 20180913 \
--as-parquetfile \
-m 1
此时报错The connection attempt failed.
connect timed out
Closed a connection to metastore, current connections: 0

1个回答

Phoebe_Ma
Phoebe_Ma 你好~谢谢您的解答,这个博客我也看了,可能我没理解到吧~目前我遇到的问题是:在抽取数据时,先在hive建好表,然后抽取数据,hive中的表在原表字段的基础上增加了一个日期作为分区~
大约一年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
sqoop抽取数据到hive上
sqoop在抽取数据到hive上的时候首先要建立hive内部表 hive 启动命令:$HIVE_HOME/bin/hive hive 退出命令:quit; hive 创建hbase内部表: 其中sehr是创建表时的表空间。 create table sehr.outpatient( last_update_dtime string, org_code st...
Sqoop全量同步mysql/Oracle数据到hive
Oracle通过sqoop增量同步数据到hive
Kettle 全量抽取数据
本例子,来源表是一个oracle视图,目的表是一个oracle表,采用“表输入—表输出”进行ETL。 1.在Spoon中,打开核心对象——表输入 数据库连接中选择 DB连接中的视图,SQL语句是相关的视图,需要哪些字段、过滤哪些条件,都是在SQL里面设置。如下图所示。 2.在Spoon中,打开核心对象——表输出 选择数据库连接,目标模式是oracle的...
(1)Kettle数据抽取---全量抽取
(1)Kettle数据抽取---全量抽取
sqoop定时增量抽取数据到hive
1、  第一次全量抽取,并创建hive表#keberos认证kinit -kt hdfs.keytab hdfs#从oracle导数据到hivesqoop import --connectjdbc:oracle:thin:@xx.xx.xx.xx:1521:xx\            --username xxx--password xxx\            --table PROD_FD...
sqoop抽取数据到hive(DDL创建)
将Sqlserver中数据抽取到HIVE外部表:F_WORKSTATION 1.sqool语句: sqoop  import --connect "jdbc:sqlserver://10.96.3.112:1433;database=SMES_CQ_2017" --username sa --password SMES@CQ --table F_WORKSTATION --target-dir...
Sqoop抽取数据
#!/bin/bash :<<EOF 程序运行参数: 1:数据库密码 2:开始日期 3:截止日期 create table Hive数据库名.表名 (   id      int,   name string ) PARTITIONED BY(dt string) ROW FORMAT DELIMITED; ALTER TABLE 数据库名.表名 ADD IF NOT EXISTS...
etl之kettler的简单使用(全量抽取数据)
例一(全量同步数据):将一张表的数据同步到另外一张表中(先将目标表的数据全部删除,在将源表中的数据同步到目标表中) 我们从左往右依次讲解 直接将SQL脚本拖入到右侧 编写SQL脚本 在输入中找到表输入 拖入到右侧            查询源表数据 在流程中将  阻塞数据直到步骤都完成 拖入到右侧 编辑            然后在输出中将表输出拖入到右侧  编辑...
Sqoop抽取Phoenix数据
使用场景:主要想实现抽取hbase数据到hive中,Sqoop不支持对hbase的直接抽取,但是我们可以通过Phoenix映射hbase表实现。 安装好phoenix后对于HBase中已经存在的数据表不会自动进行映射,所以想要再phoenix中操作HBase已有数据表就需要手动进行配置。查看phoenix的版本,如果版本是4.10之前的,映射关系是根据列来映射的,phoenix可以通过creat...
kettle数据抽取全量对比
kettle数据清洗抽取,全量对比记录,包含列转行,增加序列,字段拆分,对比记录
Kettle实现多表数据全量抽取
Kettle实现多张表数据的定时删除全量抽取,删除旧shuju
Sqoop数据抽取-待续
Sqoop主要用于在HDFS、关系型数据库之间传递数据,可以将关系型数据库数据导入到HDFS,也可以将HDFS数据导出到关系数据库。本文主要讲解一下使用sqoop进行单库单表以及分库分表数据的抽取方法。直接抽取hdfs数据并实现增量 在实际开发项目中有时候需要直接使用hdfs上已有的数据而且是需要增量抽取,本文例子均是在oozie中调用相关的hadoop组件实现不同的功能,举例代码如下:
hadoop之sqoop抽取数据
1、sqoop的安装与配置 安装(前提hadoop启动) [hadoop@h91 ~]$ tar -zxvf sqoop-1.3.0-cdh3u5.tar.gz [hadoop@h91 hadoop-0.20.2-cdh3u5]$ cp hadoop-core-0.20.2-cdh3u5.jar /home/hadoop/sqoop-1.3.0-cdh3u5/lib/ [hadoop@h9
Eclipse cannot be resolve to a type 是什么问题?
MyEclipse 5.1(Eclipse 3.2):rn我建了一个工程:LanTalker,rn在 default package下有四个类,rnUser,Friend,Group,Messagern(Message是接口类)rn其他三个类都编译过,而且都能成功执行rn然后我新建了一个文件夹UI,rn在里面加了一个文件MainFrame.javarn可是在这个文件里声明这样的句子时:rnpublic User user=null;rn它却说 User cannot be resolved to a typernFriend类也一样.请问这是怎么回事?
全量更新与增量抽取
最近在做项目时,遇到全量覆盖与全量追加与增量抽取的概念。 首先声明此处的增量是指表格insert的数据,不包括delete,update等操作后的数据。 如果有表A与表B,第二天表A增加的数据是a,B的表格依赖于A,每天定时更新。 全量追加就是在第二天更新时,将A+a查询出来,然后与表格B进行对比,就是进行与操作,与之后的结果,insert到B表格中。 全量覆盖是在第二天更新时,将A+...
通用全量抽取.rar
使用kettle实现的通用全量抽取,需要抽取的表配置到文本文件中。数据库连接需要自己情况重新配置调整,考虑到通用性,表结构创建需要自己提前在目标数据库中创建
hive 两张表全量数据对比
hive 两张表全量数据对比select * from ( select max(source) source,c1,c2 ,c3,count(*) from ( select 1 source, a.* from dev.astron_wangluochayi_1 a union all
【Sqoop】Sqoop如何增量抽取数据
  实现方法: 利用--where参数对关系型数据库数据进行筛选,将结果导入非关系型数据库。根据特殊字段,将日期作为一个查询条件对源数据进行匹配,将符合条件的记录作为结果采集到非关系型数据库中 格式: import --connect jdbcurl --username xxxx--password ****** --table tablename  --where "data_inse...
sqoop从mysql导数据到hive异常
1 异常信息: com.mysql.jdbc.exceptions.jdbc4.MySQLDataException: '18446744073387431615' in column '5' is outside valid range for the datatype BIGINT. at sun.reflect.NativeConstructorAccessorImpl.newIn...
sqoop从mysql导数据到hive命令
sudo -u hive sqoop import -D mapreduce.map.log.level=DEBUG  --connect jdbc:mysql://10.15.160.146:33944/auth_mobp2p?tinyInt1isBit=false --username bigdataetluser --password tmTvi8Fn9EjlBD8zT6SN9pk8K4o7
sqoop 将数据从hive导到mysql中出现的问题
sqoop版本为1.4.6    一开始使用指定hdfs目录的sqoop脚本导数据sqoop export  \ --connect jdbc:mysql://172.16.2.52:4307/databasename \ --username user \ --password pass \ --table tablename \ --export-dir /user/hive/warehous...
sqoop:使用sqoop工具,把数据从MySQL导入到hive。
sqoop import \ --connect jdbc:mysql://had01:3306/DB_CRY_TEST \ --username root \ --password root \ --table POI_INFO \ --fields-terminated-by "," \ --lines-terminated-by "\n" \ --hive-import \ --hive-o...
从mysql抽取数据到hive遇到的问题
数据迁移最大的影响是数据类型的不同导致数据不匹配,比如文本mysql中为text,到了hive就变成string,hive中int类型的都不带长度 重点是时间类型的转换 mysql中datetime类型的数据是这样的, hive中需要用timestamp来进行转换 mysql中date类型hive中也用date类型来匹配数据类型, 作者在hive中用tim...
sqoop抽取数据到hbase上
jdbc:oracle:thin:@//192.168.3.94/xmhealthy 指的是数据库 jdbc连接的IP和数据库实例名 username cmmi --password cmmi 指的是数据库的用户名和密码 query " " 中间是oracle数据库查询语句 where 1 = 1 因为抽取语句中有and出现 而oracle查询语句 没有where 条件存在的话就要写上 w...
sqoop数据抽取 分区表的示例
--分区表 #!/bin/bash #mysql表名  tableName=t_sys_file #字段名  columns=id,biz_field_name,biz_id,biz_table_name,bucket_name,content_type,created_date,disp_order_no,download_times,file_key,file_siz
从Hive导出数据到Oracle数据库--Sqoop
从Hive导出数据到Oracle数据库--Sqoop https://blog.csdn.net/waterkong/article/details/78708809 posted @ 2019-03-29 10:30 酸奶加绿茶 阅读(...) 评论(...) 编辑 收藏 ...
SQOOP从MySQL导入数据到Hive
一、导入Hive表时自动创建表 1、执行sqoop语句sqoop import \ --connect jdbc:mysql://hadoop001:3306/sqoop \ --username root \ --password 123456 \ --table emp_etl \ -m 1 \ --hive-import \ --create-hive-table \ --hive-tab
Hive数据仓库-Sqoop将数据从Mysql导入Hive中
Sqoop是一个实现在关系型数据库和Hive进行数据交换的工具。主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。参数hive导入参数   --hive-home 重写$
Sqoop全量增量将数据从SqlServer/MySQL导入HDFS/Hive,再从HDFS/Hive导出到数据库最全总结
最近总结了很全的sqoop应用,有以下内容 1.SqlServer/MySQL全量增量导入HDFS/Hive, 2.HDFS导入hive 3.hdfs导出到SqlServer/MySQL 4.hive导出到hdfs 5.hive导出到SqlServer/MySQL 6.还有以上过程的注意事项、操作过程中可能遇到的错误、改正方法 如有不正确的地方,欢迎各位指正^_^;有不太清楚的...
Sqoop全量和增量导入数据到Oracle数据库
1,全量导入 示例: –全量导入 sqoop import –connect jdbc:oracle:thin:@10.51.103.29:1521:DW –username FMIS9999 –password=FMIS9999 –table T_EMP –num-mappers 10 –hive-import –hive-database GRC_BIGDATA –hive-table
Sqoop全量数据导入、增量数据导入、并发导入 (Sqoop进阶)
Sqoop支持两种方式的全量数据导入和增量数据导入,同时可以指定数据是否以并发形式导入。下面依次来看: 全量数据导入 就像名字起的那样,全量数据导入就是一次性将所有需要导入的数据,从关系型数据库一次性地导入到Hadoop中(可以是HDFS、Hive等)。全量导入形式使用场景为一次性离线分析场景。用sqoop import命令,具体如下: # 全量数据导入 sqoop import...
sqoop导入导出表/数据到Hive
笔记: 将关系型数据库表及表中的数据复制到hive中 sqoop import : RMDBS——>hive 语法: sqoop import --connect jdbc:mysql://IP:PORT/database --username root --password PWD --table tablename --hive-import --hive-table hivetabl
出现提示:cannot resolve symbol 'HttpServlet'
出现提示:cannot resolve symbol 'HttpServlet'rnrn这是什么原因?
出现这样的cannot resolve symbol的错误怎么办?
下面是错误提示:rnD:\Program Files\Xinox Software\JCreator\MyProjects\tree\tree\tree.java:72: cannot resolve symbolrnsymbol : variable Show rnlocation: class c13.swing.treernShow.inFrame(new tree(),200,500); rnrn怎么办啦
sqoop定时导入(全量+增量)sqlserver数据到HDFS
sqoop定时导入(全量+增量)sqlserver数据到HDFS增量导入采用创建sqoop job的形式,定时加载job即可创建job bin/sqoop job \ --create s_ods_ol_user_app \ -- import \ --connect 'jdbc:sqlserver://10.31.24.236:1433;database=ODS_DB_V3' \ --usern...
sqoop导数据到hive失败
1、sqoop异常现象: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. InvalidObjectException(message:There is no database named dw) 2、hive.log:        2016-08-23 16:1
sqoop全量导入与增量导入sqlserver数据
sqoop全量导入与增量导入sqlserver数据1.全量导入正常导入即可2.增量导入sqoop支持两种增量导入到hive的模式, 一种是 append,即通过指定一个递增的列,(如果没有可以插入一列自增的数)比如: --incremental append  --check-column id --last-value 0 另一种是可以根据时间戳,比如: --incremental lastmo...
cannot resolve symbole
下面是系统启动进rc脚本里面的时候出来的错误rntimeout time is 60 srnWatchdog card enabled.rnWATCHDOG: Device closed unexpectedly - timer will not stoprnWatchdog Ticking Away!rnwatchdog establishrnrnhostname: symbol '': can't resolve symbolrnhostname ixp435rnrnmount: symbol '': can't resolve symbolrnrnmount: symbol '': can't resolve symbolrnrnmount: symbol '': can't resolve symbolrnJFFS2 notice: (23) jffs2_build_xattr_subsystem: complete building xattr subsystem, 0 of xdatum (0 unchecked, 0 orphan) and 0 of xref (0 dead, 0 orphan) found.rnrnifconfig: symbol '': can't resolve symbolrnrngrep: symbol '': can't resolve symbolrnload linux-2.6.x network modules......rnrnmknod: symbol '': can't resolve symbolrnmknod: /dev/ixNpe: File existsrnrninsmod: symbol '': can't resolve symbolrnUsing /lib/modules/ixp400.kornixp400: module license 'unspecified' taints kernel.rnrn大家有谁遇到过吗
cannot resolve symbol
public class Gardernpublic static void main(String[] args) rnint testscore = DialogBox.requestInt("Please input a int number: ");rnchar grade;rnif (testscore >= 90) rngrade = 'A';rn else if (testscore >= 80) rngrade = 'B';rn else if (testscore >= 70) rngrade = 'C';rn else if (testscore >= 60) rngrade = 'D';rn else rngrade = 'F';rnrnTranscript.println("Grade = " + grade); rnrnrnrn编译时出现2个错误:1. cannot resolve symbolrn symbol:variable DialogBoxrn location:class Garde int testscore = DialogBox.requestInt("Please input a int number: ");rn 2. cannot resolve symbolrn symbol:variable Transcriptrn location:class Garde Transcript.println("Grade = " + grade); rnrn这2个错误是什么错误哦?为什么会产生这个错误?rn是不是因为没有写 import 引入类包的原因?
cannot resolve symbol 错误
我编写了两个类,写在两个文件中,第一个编译正确rn第二个类之中test1 test = new test1();编译报错rncannot resolve symbol rn请问如何解决
相关热词 c# 去空格去转义符 c#用户登录窗体代码 c# 流 c# linux 可视化 c# mvc 返回图片 c# 像素空间 c# 日期 最后一天 c#字典序排序 c# 截屏取色 c#中的哪些属于托管机制