qq_37813237 2023-05-06 15:31 采纳率: 100%
浏览 18
已结题

sqoop增量导入lastmodified至hive的问题

使用sqoop导入数据到hive,增量导入lastmodified和merge-key,但是一直报错Unrecognized argument
sqoop版本1.4.7.3.1.0.0-78
ods表里最后一条数据时间为2023-04-26 06:30:00.0,我把最后一条数据时间处理成2023-04-26 06:30:00也不行还是一样的报错,从时间戳空格后面就Unrecognized argument
我检查过很多遍sqoop代码确定没有多空格,也重写过很多遍,所以怀疑是因为时间戳有空格,sqoop认为空格前后是两个东西导致的报错,我百度了有些说1.46版本不支持lastmodified导入到hive的,但也有说把--hive部分删除只指定--target-dir就可以完成导入
以下部分是sqoop代码和报错截图

img

sqoop import -D \
mapred.job.name=xxx\
--null-string '\\N' \
--null-non-string '\\N' \
--check-column starttime \
--incremental lastmodified \
--last-value ${d_timestamp} \
--merge-key starttime \
-m 1 \
--connect "jdbc:db2://xxxxxxx:xxxxxxxx/xxxxxxxx" \
--username root --password 123456 \
--target-dir /warehouse/tablespace/managed/hive/data.db/xxxxxxxxx

  • 写回答

2条回答 默认 最新

  • 卑以自牧w 2023-05-06 16:09
    关注

    换用datax

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 5月16日
  • 已采纳回答 5月8日
  • 修改了问题 5月6日
  • 创建了问题 5月6日

悬赏问题

  • ¥15 35114 SVAC视频验签的问题
  • ¥15 impedancepy
  • ¥15 在虚拟机环境下完成以下,要求截图!
  • ¥15 求往届大挑得奖作品(ppt…)
  • ¥15 如何在vue.config.js中读取到public文件夹下window.APP_CONFIG.API_BASE_URL的值
  • ¥50 浦育平台scratch图形化编程
  • ¥20 求这个的原理图 只要原理图
  • ¥15 vue2项目中,如何配置环境,可以在打完包之后修改请求的服务器地址
  • ¥20 微信的店铺小程序如何修改背景图
  • ¥15 UE5.1局部变量对蓝图不可见