hive里面使用mysql插入内容出现问题

Question

想问一下那个在hive里面使用mysql,spark进行表格内容插入命令为什么加载不出来插入不进去,然后一直显示在运行中,运行出来就是第一个图这个样子,一直在往下走,真的心碎了

这个是正常运行出来是这样的,但是就是插入不上去不知道是什么原因

Answer 1

引自免费微信小程序：皆我百晓生

从描述来看，你在尝试使用Hive通过Spark执行SQL语句向MySQL数据库插入数据时遇到了问题。问题的关键点在于，操作似乎卡在了运行状态，并且没有成功完成数据的插入。以下是一些可能的原因及解决策略：

1. 检查资源限制

确保你的Spark作业没有因为资源不足而被阻塞。可以通过调整hive.exec.reducers.bytes.per.reducer, hive.exec.reducers.max, 或者mapreduce.job.reduces参数来控制Reducer的数量和负载。

2. 检查Hive与MySQL连接配置

确认Hive是否正确配置了与MySQL的JDBC连接。这通常涉及到在hive-site.xml文件中设置javax.jdo.option.ConnectionURL和javax.jdo.option.ConnectionDriverName等属性。

3. 检查MySQL服务器状态

确保MySQL服务运行正常，且允许远程连接。可以通过SHOW VARIABLES LIKE 'max_connections';检查MySQL的最大连接数，以及SHOW VARIABLES LIKE '%host%';查看允许的连接来源。

4. 检查SQL语句

确认用于插入数据的SQL语句语法正确，且没有隐含的错误。例如，如果使用的是INSERT INTO语句，确保表结构与数据匹配，且没有违反任何约束（如主键冲突）。

5. 日志分析

查看Spark和Hive的日志，特别是错误信息和警告，它们可能会提供关于问题的具体线索。通常这些日志位于/var/log/hadoop或/var/log/spark目录下。

6. 网络延迟

检查网络状况，尤其是如果MySQL服务器与Hive/Spark集群不在同一物理位置，网络延迟可能导致性能下降。

7. 权限问题

确认Spark作业有足够的权限访问MySQL数据库。这包括数据库用户权限、防火墙规则以及SELinux/Iptables设置。

解决步骤示例

假设你正在尝试执行以下Hive SQL语句，通过Spark向MySQL中的student表插入数据：

INSERT INTO TABLE student SELECT * FROM local_student;

其中local_student是Hive中的一张表，包含待插入的数据。

步骤1：检查Hive配置

<!-- hive-site.xml -->
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/mydatabase?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>

步骤2：优化Spark配置

--conf spark.sql.shuffle.partitions=10 \
--conf spark.executor.memory=4G \
--conf spark.executor.cores=2

步骤3：检查并修正SQL语句

确保student表存在且结构正确，且local_student表中的数据格式与之匹配。

步骤4：查看日志

查找类似org.apache.spark.sql.execution.datasources.jdbc.JdbcUtils的日志输出，以了解连接或执行过程中是否有异常。

步骤5：网络与权限检查

使用ping命令测试MySQL服务器的可达性，以及尝试手动通过SSH或本地客户端连接MySQL，以验证权限和配置。

通过上述步骤，你应该能够诊断并解决大部分常见的Hive向MySQL插入数据失败的问题。如果问题依旧存在，建议深入检查具体错误信息，并考虑寻求更专业的技术支持或社区论坛的帮助。