小7很烦恼 2022-10-31 14:14 采纳率: 100%
浏览 81
已结题

Spark IOException:Connection reset by peer

spark集群环境下提交jar包运行程序,对mysql数据库中五百万条数据进行读取,报如下错:
java.io.IOException: Connection reset by peer
at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
at sun.nio.ch.IOUtil.read(IOUtil.java:192)
at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)
at io.netty.buffer.PooledByteBuf.setBytes(PooledByteBuf.java:253)
at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:1133)
读取同数据库其他表几百条数据正常显示,这个就不行,初步感觉应该是需要对spark参数进行调优或者对集群参数修改,对这方面并不熟悉,这个报错很懵,希望给出建议
尝试修改过spark-env,添加了export SPARK_EXECUTOR_MEMORY=5g,export SPARK_DRIVER_MEMORY=10g,没有解决
硬件配置10核,128g内存,集群环境centos7,hadoop3.1.3,spark3.1.1,mysql5.7

  • 写回答

4条回答 默认 最新

  • keeper& 2022-10-31 16:45
    关注

    集群规模是怎么样的?(10核,128g内存 几台机器?)
    代码逻辑是怎么样的,单纯的读库的操作吗?还是有大量的shuffle操作
    EXECUTOR_num EXECUTOR_core 参数分别设置的多少
    是否有查看过spark的ui页面,查看是部分task失败,还是所有的task都失败

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(3条)

报告相同问题?

问题事件

  • 系统已结题 11月9日
  • 已采纳回答 11月1日
  • 创建了问题 10月31日

悬赏问题

  • ¥15 metadata提取的PDF元数据,如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错
  • ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误,如何解决?
  • ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
  • ¥15 c#逐行读取txt文本,但是每一行里面数据之间空格数量不同
  • ¥50 如何openEuler 22.03上安装配置drbd
  • ¥20 ING91680C BLE5.3 芯片怎么实现串口收发数据
  • ¥15 无线连接树莓派,无法执行update,如何解决?(相关搜索:软件下载)
  • ¥15 Windows11, backspace, enter, space键失灵