Impala使用UDF的时候输入的文本都变问号

Question

同一个UDF在hive下是正常的，但是在impala下，文本都变成了？？？？

我又写了一个直接打印输入的byte，结果发现impala在进入UDF函数的时候，就已经都变成了？？？

但是在impala里面正常的查询中文是可以正常显示的

网上也没搜到类似的问题，不知哪位大神遇到过这个问题，求解决方案

环境:

CentOS 7.3

Hive 1.2

Impala 2.12

Java JDK 1.8

Python 2.7.5

Answer 1

如果同一个 UDF 在 Hive 下正常工作，但在 Impala 下出现问题，可能有几个原因导致这种情况发生：

1. UDF 实现问题： 确保您的 UDF 实现在 Impala 中也能正常工作。有时候，Hive 和 Impala 对 UDF 的要求或支持程度可能有所不同。检查您的 UDF 实现是否符合 Impala 的要求，并根据需要进行调整。

2. UDF注册问题： 在 Impala 中，您需要确保已经正确注册了您的 UDF。如果没有正确注册，Impala 将无法识别和使用您的 UDF。请确保在 Impala 中注册了您的 UDF，并且注册的语法正确。

3. 数据问题： 确保在 Impala 中使用的数据与在 Hive 中使用的数据相同。如果数据格式或内容有所不同，可能会导致 UDF 在 Impala 中产生不正确的结果。请检查数据是否与您在 Hive 中使用的数据一致。

4. 字符集问题： 确保在 Impala 中使用的字符集与在 Hive 中使用的字符集相同。如果字符集不匹配，可能会导致在 Impala 中出现乱码或无法识别的字符。请检查字符集设置是否一致。

5. 版本问题： 确保您使用的 Hive 和 Impala 版本兼容，并且支持您使用的 UDF。有时，不同版本的 Hive 和 Impala 可能对 UDF 的支持有所不同，可能需要针对特定版本进行调整。

通过检查以上可能的原因，并逐一排除，您应该能够找到导致 UDF 在 Impala 中无法正常工作的根本原因。如果您需要进一步的帮助，请提供更多详细信息，以便我可以更具体地指导您。