不能做小咸鱼啦 2022-03-07 15:59 采纳率: 0%
浏览 46

为什么用sqoop把数据从mysql导入hdfs,再从hdfs写入hive书仓会多出一些null数据,执行了两次 多出的null值条数也一样

问题遇到的现象和发生背景

用sqoop把数据从mysql导入hdfs,再从hdfs写入hive数仓,hive中多出了一些null值,且执行了两次,多出来的null值个数是一样的。

问题相关代码,请勿粘贴截图

sqoop脚本命令:
sqoop import
--connect jdbc:mysql://172.17.0.100:3306/datahoop2
--username root
--password ****
--target-dir /origin_data/sqoop/db/$1/$do_date
--delete-target-dir
--query "$2 where $CONDITIONS"
--fields-terminated-by "\t"
--num-mappers 1
--null-string '\N'
--null-non-string '\N'

hdfs到hive数仓是直接load的。

我想要达到的结果

不要有null值

  • 写回答

1条回答 默认 最新

  • Keifei 2022-03-08 13:38
    关注

    sqoop可以直接写入到hive表里,为啥要先写到hdfs再单独load?,另外你多出一些空值,也没有对应的截图,是怎么个多出法?某些字段多出?所有字段多出?个数一样指的那两个一样?如果你说两次导入之后空值个数一样,这不是废话嘛~~

    评论

报告相同问题?

问题事件

  • 创建了问题 3月7日

悬赏问题

  • ¥15 素材场景中光线烘焙后灯光失效
  • ¥15 请教一下各位,为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 保护模式-系统加载-段寄存器