u011856283
你好杰米
采纳率95%
2018-05-31 01:35

急】hive,insert从parquet表插入到textfile(cvs)表时,字段内容为NULL

5

我有两张表,字段数量名字相同
A表示parquet表
B表是textfile表,放cvs数据的按tab分割

现在A表有10条数据,B表无数据,我想使用insert overwrite A到B,然后insert完毕以后,
使用hive查询B表数据,发现某些列成为了null(目前发现仅内容为数字的会是null,但为null字段当时设置的类型是String,只是内容填的数字而已)

简单叙述
我把parquet表的数据insert overwrite到textfile(或者反过来操作),使用hive查询的时候都会出现部分字段变为null的情况,但同时使用impala查询发现是有内容的,请问这是怎么回事?我猜是parquet转textfile或者textfile转parquet时就是会有问题,

所以请问怎么解决,因为目前需求需要从一张新表转到老表,老表是textfile类型的,新表是parquet
我们程序使用的java(不过上述操作我都是直接用命令行测试的)

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享
  • 邀请回答

2条回答

  • smartliukun smartliukun 3年前

    先确认下 A表和B表的定义。
    show create table A;
    show create table B;
    看下两个表的定义是否完全一致,另外看下 insert 语句是否按照 表的各个字段的顺序 引用各个字段。
    然后看下B表的 原始数据文件(通过 location 地址),下载到本地查看,那些为null的字段,在数据文件中是什么情况。希望可以帮到你。

    点赞 评论 复制链接分享
  • qq_28025073 little sister丶 3年前

    方便把图贴出来吗?看图更能找到问题

    点赞 评论 复制链接分享