protobuf转换从hive中读出的嵌套数组,当子数组过长时报错 5C

如题。因为要做大数据分析。在hive中做了张hbase的映射表。
其中有一列是嵌套的list。当子list过长时。从hive中读出来再反序列化的时候出错了。
但是同样的数据。直接从hbase中读出来反序列化就不会出错。
在hive中看序列化的那一列。子list过长会出现明显的乱码。请问这是hive的关系吗。
对了我看大数据那边的人员做映射表的时候,序列化的那一列。在hive中直接用的string类型。这样会不会导致类型不兼容。
但是为什么只会在子list过长才会出现这个问题呢。当父list随便多长都不会出问题。子list过长就会出现问题。
图片说明

1个回答

是不是系统的问题?或者你重装hive试一下

u012916287
out-println 当嵌套list前面出现类似乱码的问号的时候。反序列化必定出错。这个应该不是反序列化的方法有问题吧。反序列化的方法都是通过protobuf的脚本文件直接生成的。
接近 2 年之前 回复
u012916287
out-println 重装的可能性不大。现在hive上面数据太多了。虽然是开发环境。但是里面有很多测试数据。
接近 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!