sqoop从postgre全量抽取数据到hive出现cannot resolve sql type for 1111 10C

最近刚接触sqoop,在使用时出现问题,请问大神们该问题如何解决?
要抽取的postgre表中的extra存在json类型的数据,抽取时出现cannot resolve sql type for 1111 和 no java type for sql type for column extra错误,根据https://blog.csdn.net/Post_Yuan/article/details/79799980和https://blog.csdn.net/lookqlp/article/details/52096193看了两篇文章,对sqoop语句做了如下修改:
最开始没有加--map-column-hive Extra=String \和--map-column-java Extra=String \的sqoop语句如下
sqoop import \
--connect jdbc串\
--username 用户名 \
--password 密码\
--table 表名 \
--null-string '\N' \
--null-non-string '\N' \
--hive-overwrite \
--hcatalog-database hive数据库名\
--hcatalog-table hive中创建好的表名 \
--hcatalog-partition-keys dt \
--hcatalog-partition-values 20180913 \
--as-parquetfile \
-m 1
此时报错cannot resolve sql type for 1111 和 no java type for sql type for column extra
加上--map-column-hive Extra=String \和--map-column-java Extra=String \
sqoop import \
--connect jdbc串\
--username 用户名 \
--password 密码\
--table 表名 \
--null-string '\N' \
--null-non-string '\N' \
--map-column-hive Extra=String \
--map-column-java Extra=String \
--hive-overwrite \
--hcatalog-database hive数据库名\
--hcatalog-table hive中创建好的表名 \
--hcatalog-partition-keys dt \
--hcatalog-partition-values 20180913 \
--as-parquetfile \
-m 1
此时报错The connection attempt failed.
connect timed out
Closed a connection to metastore, current connections: 0

1个回答

Phoebe_Ma
Phoebe_Ma 你好~谢谢您的解答,这个博客我也看了,可能我没理解到吧~目前我遇到的问题是:在抽取数据时,先在hive建好表,然后抽取数据,hive中的表在原表字段的基础上增加了一个日期作为分区~
接近 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问