sqoop从mysql导入hive报错hive exited with status 5 报错

Question

想请教一下大家，使用hive版本3.1.2,sqoop版本1.4.7,hadoop版本3.2.3，尝试用sqoop导入mysql数据到hive，mysql8.0.37，数据可以写入hdfs和hbase，是hdfs写入hive的时候报错挂掉的

Answer 1

引自免费微信小程序：皆我百晓生

遇到Hive exited with status 5的错误通常意味着在执行Hive命令时遇到了问题，这可能是由于多种原因造成的。为了帮助解决这个问题，我们可以按照以下步骤进行排查：

步骤1：检查Hive日志

首先，查看Hive的日志文件以获取更详细的错误信息。通常，这些日志会提供关于失败的具体原因。Hive日志的位置取决于你的配置，但常见的位置是/var/log/hadoop/hive或/var/log/hive。

步骤2：检查Hive与Hadoop的兼容性

确保你的Hive版本（3.1.2）与Hadoop版本（3.2.3）兼容。虽然通常情况下这些版本应该可以协同工作，但是某些特性或bug修复可能会影响它们之间的兼容性。检查Hive和Hadoop的官方文档以确认它们之间的兼容性。

步骤3：检查Hive元数据存储

确认Hive元数据存储（通常是Derby或MySQL数据库）是否正确设置并运行。如果元数据存储不可用或配置不正确，Hive操作将失败。

步骤4：检查Hive表和数据库

• 确认temp0617数据库在Hive中已经存在。
• 检查products_hive表是否已经创建，或者是否有权限创建它。
• 确保Hive中的数据库和表名称与SQOOP命令中指定的一致。

步骤5：检查Hive的配置

• 检查hive-site.xml配置文件，特别是hive.metastore.uris和hive.metastore.warehouse.dir等参数。
• 确认hive.exec.post.hooks和hive.exec.pre.hooks没有配置错误。

步骤6：调整SQOOP命令

尝试修改SQOOP命令，例如增加--debug选项以获得更多的调试信息。这可以帮助确定问题所在。

sqoop import --connect jdbc:mysql://localhost/temp0617 -username root -password root --table products -hive-import -hive-database temp0617 --hive-table products_hive -create-hive-table --m 1 --debug

步骤7：检查资源限制

如果Hive或Hadoop集群资源有限，这可能导致作业失败。检查YARN的资源管理器，看是否有足够的资源分配给Hive作业。

步骤8：重试或手动导入

如果上述步骤都无法解决问题，尝试手动创建Hive表并导入数据，而不是使用SQOOP。这可以帮助判断问题是否出在SQOOP本身。

步骤9：寻求社区支持

如果问题仍然无法解决，考虑在Hadoop或Hive的社区论坛上提问，提供尽可能多的详细信息，包括错误日志和你的环境配置。

通过以上步骤，你应该能够定位并解决Hive exited with status 5的问题。如果在执行过程中有任何具体的疑问或需要进一步的帮助，请随时提问。