最近刚接触sqoop,在使用时出现问题,请问大神们该问题如何解决?
要抽取的postgre表中的extra存在json类型的数据,抽取时出现cannot resolve sql type for 1111 和 no java type for sql type for column extra错误,根据https://blog.csdn.net/Post_Yuan/article/details/79799980和https://blog.csdn.net/lookqlp/article/details/52096193看了两篇文章,对sqoop语句做了如下修改:
最开始没有加--map-column-hive Extra=String \和--map-column-java Extra=String \的sqoop语句如下
sqoop import \
--connect jdbc串\
--username 用户名 \
--password 密码\
--table 表名 \
--null-string '\N' \
--null-non-string '\N' \
--hive-overwrite \
--hcatalog-database hive数据库名\
--hcatalog-table hive中创建好的表名 \
--hcatalog-partition-keys dt \
--hcatalog-partition-values 20180913 \
--as-parquetfile \
-m 1
此时报错cannot resolve sql type for 1111 和 no java type for sql type for column extra
加上--map-column-hive Extra=String \和--map-column-java Extra=String \
sqoop import \
--connect jdbc串\
--username 用户名 \
--password 密码\
--table 表名 \
--null-string '\N' \
--null-non-string '\N' \
--map-column-hive Extra=String \
--map-column-java Extra=String \
--hive-overwrite \
--hcatalog-database hive数据库名\
--hcatalog-table hive中创建好的表名 \
--hcatalog-partition-keys dt \
--hcatalog-partition-values 20180913 \
--as-parquetfile \
-m 1
此时报错The connection attempt failed.
connect timed out
Closed a connection to metastore, current connections: 0
sqoop从postgre全量抽取数据到hive出现cannot resolve sql type for 1111
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
悬赏问题
- ¥30 这是哪个作者做的宝宝起名网站
- ¥60 版本过低apk如何修改可以兼容新的安卓系统
- ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
- ¥50 有数据,怎么建立模型求影响全要素生产率的因素
- ¥50 有数据,怎么用matlab求全要素生产率
- ¥15 TI的insta-spin例程
- ¥15 完成下列问题完成下列问题
- ¥15 C#算法问题, 不知道怎么处理这个数据的转换
- ¥15 YoloV5 第三方库的版本对照问题
- ¥15 请完成下列相关问题!