你好杰米 2018-05-31 01:35 采纳率: 87.5%
浏览 1923
已采纳

急】hive,insert从parquet表插入到textfile(cvs)表时,字段内容为NULL

我有两张表,字段数量名字相同
A表示parquet表
B表是textfile表,放cvs数据的按tab分割

现在A表有10条数据,B表无数据,我想使用insert overwrite A到B,然后insert完毕以后,
使用hive查询B表数据,发现某些列成为了null(目前发现仅内容为数字的会是null,但为null字段当时设置的类型是String,只是内容填的数字而已)

简单叙述
我把parquet表的数据insert overwrite到textfile(或者反过来操作),使用hive查询的时候都会出现部分字段变为null的情况,但同时使用impala查询发现是有内容的,请问这是怎么回事?我猜是parquet转textfile或者textfile转parquet时就是会有问题,

所以请问怎么解决,因为目前需求需要从一张新表转到老表,老表是textfile类型的,新表是parquet
我们程序使用的java(不过上述操作我都是直接用命令行测试的)

  • 写回答

2条回答

  • smartliukun 2018-05-31 06:30
    关注

    先确认下 A表和B表的定义。
    show create table A;
    show create table B;
    看下两个表的定义是否完全一致,另外看下 insert 语句是否按照 表的各个字段的顺序 引用各个字段。
    然后看下B表的 原始数据文件(通过 location 地址),下载到本地查看,那些为null的字段,在数据文件中是什么情况。希望可以帮到你。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 微信公众号自制会员卡没有收款渠道啊
  • ¥15 stable diffusion
  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题:求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 关于#windows#的问题:怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
  • ¥15 perl MISA分析p3_in脚本出错
  • ¥15 k8s部署jupyterlab,jupyterlab保存不了文件
  • ¥15 ubuntu虚拟机打包apk错误
  • ¥199 rust编程架构设计的方案 有偿