spark集群环境下提交jar包运行程序,对mysql数据库中五百万条数据进行读取,报如下错:
java.io.IOException: Connection reset by peer
at sun.nio.ch.FileDispatcherImpl.read0(Native Method)
at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39)
at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223)
at sun.nio.ch.IOUtil.read(IOUtil.java:192)
at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:380)
at io.netty.buffer.PooledByteBuf.setBytes(PooledByteBuf.java:253)
at io.netty.buffer.AbstractByteBuf.writeBytes(AbstractByteBuf.java:1133)
读取同数据库其他表几百条数据正常显示,这个就不行,初步感觉应该是需要对spark参数进行调优或者对集群参数修改,对这方面并不熟悉,这个报错很懵,希望给出建议
尝试修改过spark-env,添加了export SPARK_EXECUTOR_MEMORY=5g,export SPARK_DRIVER_MEMORY=10g,没有解决
硬件配置10核,128g内存,集群环境centos7,hadoop3.1.3,spark3.1.1,mysql5.7
Spark IOException:Connection reset by peer
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
4条回答 默认 最新
- keeper& 2022-10-31 16:45关注
集群规模是怎么样的?(10核,128g内存 几台机器?)
代码逻辑是怎么样的,单纯的读库的操作吗?还是有大量的shuffle操作
EXECUTOR_num EXECUTOR_core 参数分别设置的多少
是否有查看过spark的ui页面,查看是部分task失败,还是所有的task都失败本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报 编辑记录
悬赏问题
- ¥15 关于#java#的问题:找一份能快速看完mooc视频的代码
- ¥15 这种微信登录授权 谁可以做啊
- ¥15 请问我该如何添加自己的数据去运行蚁群算法代码
- ¥20 用HslCommunication 连接欧姆龙 plc有时会连接失败。报异常为“未知错误”
- ¥15 网络设备配置与管理这个该怎么弄
- ¥20 机器学习能否像多层线性模型一样处理嵌套数据
- ¥20 西门子S7-Graph,S7-300,梯形图
- ¥50 用易语言http 访问不了网页
- ¥50 safari浏览器fetch提交数据后数据丢失问题
- ¥15 matlab不知道怎么改,求解答!!