数仓处理清洗原始数据

Question

将清洗的数据导入后为什么每个字段的数据会显示为null代码如果写才不会显示为null

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

从您提供的信息来看，您在处理原始数据到数据仓库（可能是Hadoop和Hive）的过程中遇到了一些问题。我将按照您的描述分析并提供可能的解决方案。

首先，关于您在查询时遇到的问题：当您尝试从ods_weibo_original表中选择数据时，出现错误提示该表不存在（Error 10001）。请确保表名和数据库名正确无误，并且该表已经在Hive中创建。此外，请检查您是否有足够的权限来访问这个表。

其次，关于数据清洗和导入的问题：当您尝试将清洗后的数据插入到dwd_weibo_clean表时，出现了错误提示目标表的列数与查询的列数不匹配（Error 10044）。这意味着您的查询结果中的列数量与目标表的列数量不一致。您需要确保查询结果的列数量与目标表的列数量相匹配，并且数据类型也要匹配。您可以通过修改查询语句来确保这一点。

至于数据中的beCommentWeiboId字段显示为null的问题，这很可能是由于在原始数据中该字段确实没有值或者值被错误地解析导致的。您需要确保在解析JSON数据时正确地获取到了beCommentWeiboId的值。您的查询语句中使用了get_json_object函数来解析JSON数据，您需要确保函数中的JSON路径是正确的。例如，如果beCommentWeiboId是JSON对象的一个属性，那么路径应该是正确的'$.beCommentWeiboId'。如果路径错误或者JSON格式有误，那么可能会导致获取到的值为null。

综上所述，您需要确保以下几点：

1. 确保表名和数据库名正确无误，并且具有足够的权限。
2. 确保查询结果的列数量与目标表的列数量相匹配，并且数据类型也要匹配。
3. 确保在解析JSON数据时正确地获取到了beCommentWeiboId的值，检查JSON路径是否正确以及JSON格式是否无误。

如果您能提供更多关于数据结构和查询语句的详细信息，我可以更具体地帮助您解决问题。