问题遇到的现象和发生背景
用sqoop把数据从mysql导入hdfs,再从hdfs写入hive数仓,hive中多出了一些null值,且执行了两次,多出来的null值个数是一样的。
问题相关代码,请勿粘贴截图
sqoop脚本命令:
sqoop import
--connect jdbc:mysql://172.17.0.100:3306/datahoop2
--username root
--password ****
--target-dir /origin_data/sqoop/db/$1/$do_date
--delete-target-dir
--query "$2 where $CONDITIONS"
--fields-terminated-by "\t"
--num-mappers 1
--null-string '\N'
--null-non-string '\N'
hdfs到hive数仓是直接load的。
我想要达到的结果
不要有null值