Caused by: com.mysql.cj.exceptions.CJCommunicationsException: Communications link failure

Question

有没有人能帮忙解决一下这个错误，我几乎找遍全网，把能排错的全部都走了一遍，但还是解决不了，我实在无能为力了，救命啊

Answer 1

引自免费微信小程序：皆我百晓生

看起来你正在尝试从MySQL数据库读取数据到Apache Spark的数据框架（DataFrame）。在Scala中，你遇到了CJCommunicationsException，这通常意味着连接失败。这个问题可能是由几个原因引起的，包括网络问题、服务器未运行、防火墙阻止连接、驱动程序不兼容或者配置错误。

首先，让我们检查一些基础设置：

1. 确保MySQL服务器正在运行并且监听3306端口。
2. 检查Spark和MySQL是否在同一台机器上运行，或者Spark可以访问MySQL服务器。
3. 防火墙没有阻止从Spark到MySQL的连接。你需要允许从Spark运行的主机到MySQL服务器的3306端口的出站连接。
4. 使用正确的JDBC驱动版本。确保你使用的MySQL Connector/J与你的MySQL服务器版本兼容。

下面是根据你提供的信息调整后的代码片段，我将指出可能的问题并提供修复建议：

import org.apache.spark.sql.{DataFrame, SparkSession}

val spark = SparkSession.builder()
  .appName("MySQLToSpark")
  .config("spark.master", "local[*]")
  .getOrCreate()

// 修正选项格式，将"I option"更改为"option"
val jdbcDF = spark.read.format("jdbc")
  .option("url", "jdbc:mysql://localhost:3306/spark") // 确保这里是你实际的MySQL服务器地址
  .option("driver", "com.mysql.cj.jdbc.Driver") // 确保你有这个驱动程序的jar文件在类路径中
  .option("dbtable", "sparktest")
  .option("user", "root")
  .option("password", "root") // 将"10261524"替换为你的实际密码
  .load()

jdbcDF.show() // 查看加载的数据

请按照以下步骤操作：

1. 确保MySQL服务器正在运行，并且可以通过命令行工具连接（例如：mysql -u root -p）。

2. 在你的Spark应用中添加MySQL Connector/J的依赖项。如果你使用的是SBT构建系统，可以在build.sbt中加入：

   libraryDependencies += "mysql" % "mysql-connector-java" % "8.0.25"
   

   然后执行sbt compile或sbt package。

3. 如果你在集群环境中运行Spark，确保所有节点都能访问MySQL服务器，并且防火墙规则正确设置。

4. 检查你的Spark提交脚本或应用程序，确保所有的依赖项都被包含在内。

5. 运行上述代码，查看是否还有相同的错误。如果有，检查日志输出或错误消息以获取更多关于问题的线索。

6. 如果问题仍然存在，尝试在Spark应用启动时打印更详细的异常堆栈跟踪，以便更好地定位问题。

如果以上步骤都无法解决问题，可能需要进一步分析网络连接、端口访问以及环境配置。你也可以考虑在本地环境下创建一个简单的测试用例，仅使用Java或Python连接MySQL，排除Spark环境的影响。这样有助于确定问题是否真的在于Spark或其配置。