Spark 感觉任务都集中在了某一个Task上，最终报executor lost failure，执行失败。

各位大佬，请教一个问题。
关于spark任务的。
一个大表和一个小表join，大表1.7亿条，小表几百条。
我已经把小表广播了。
在集群下执行的时候，总卡到一个task(通过ui看每次都是最后一个)上，然后长时间等待，最后报executor lost failure。就异常退出了！

这是怎么回事呢？

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
西門吹牛__Linux 2019-05-30 17:29
关注
Task倾斜，你可以尝试对大表进行repartition(task数的倍数)，然后 join broadcast(小表名) 小表广播

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

Spark实验统计信息缺失个数报错，如何解决？(语言-scala) hive scala spark
2022-05-17 10:42

回答 1 已采纳 target字段转数字失败，你看一下数据对应的该字段是不是有非数字的值
Executor question 的一个小问题
2018-05-13 05:12

回答 1 已采纳当执行器执行一个任务的时候，它会为此创建一个新的工作线程，说的没错参考：https://www.cnblogs.com/study-everyday/archive/2017/04/20/67
ExecutorService executor执行不完全问题 java
2021-12-31 10:43

回答 1 已采纳可以试试1.检查一下你的executor线程队列配置和拒绝策略，有可能是线程队列配置过小导致有些任务被丢弃了2.查看有没有哪个地方调用了executor的shutDownNow方法，导致线程池被关闭3
[已解决]Job failed with org.apache.spark.SparkException: Job aborted due to stage failure: Task 3 in st
2023-11-02 18:56

AI_Maynor的博客如何将hive集群升级到spark,hivesql脚本运行比较慢参数设置 set hive.execution.engine=spark; 之后报错Expected SaslMessage, received something else (maybe your client does not have SASL enabled ## ...
配置hive on spark测试，创建表，insert测试效果报错，如何解决？ hadoop hive spark 有问必答
2022-04-21 01:37

回答 2 已采纳你在b站视频下面看看评论区，评论区下面的前几个有大佬提供了解决思路。我当时这里报错了，我用了评论区给的方法成功了。如果评论区的方法没有解决，说一个最不好听的方法，你把hive和spark重新装一遍。我
线程池ThreadPoolExecutor 提交一条任务是占用一个线程池吗？ java spring 后端
2022-05-04 10:33

回答 1 已采纳占用线程，不是占用线程池。设置多少取决于你当前项目环境，还有就是任务执行时取决于当前线程池中还有没有空闲线程。有的话就直接用空闲线程执行。没有的话会进入队列等待线程空闲出来再执行
ubuntu虚拟机，在MySQL的数据库dblab中创建一个新表user_action时报错 hadoop mysql ubuntu 有问必答
2022-12-17 11:31

回答 3 已采纳我做平常作业时候也会有奇奇怪怪报错，建议你重启试试看，开启的窗口有的打开了最好别关（除非你确定用不着了），或者多运行几遍（整个部分除了开启Hadoop上面的），有时候做之前启动Hadoop时候开启历史
Spark 报错：Lost task 0.0 in stage 1.0 (TID 2, xxx, executor 0): java.io.FileNotFoundExceptio
2019-06-27 16:11

路飞DD的博客 -- 昨夜西风凋碧树，独上高楼，望尽天涯路问题描述在 Spark 集群中读取本地文件出现如下错误： ...Lost task 0.0 in stage 1.0 (TID 2, xxxxx, executor 0): java.io.FileNotFoundException: File file...
大数据，spark ，doris mysql spark 大数据
2023-01-17 22:05

回答 2 已采纳这是一个连接Doris服务器失败的错误，具体原因可能是Doris服务器无法连接或网络故障导致的。
在使用Spark连接数据库时发生Caused by: java.sql.SQLException: Out of range value for column 'age' : value age java spark sql
2022-02-09 14:38

回答 1 已采纳 http://cn.voidcc.com/question/p-ozcajljc-dh.html，看下这个
Jenkins 使用 allure 生成报告失败 Build step 'Allure Report' marked build as failure jenkins
2021-11-01 18:22

回答 1 已采纳找到原因了，把chcp路径加到全局设置的环境变量里就可以了
Spark执行失败时的一个错误分析
2019-05-29 09:32

weixin_30421525的博客堆栈信息中有一个错误信息：Job aborted due to stage failure: Task 1 in stage 2.0 failed 4 times, most recent failure: Lost task 1.3 in stage 2.0 (TID 264, idc-xx-xx-3-30.d.xx.com, executor 2): java....
请教一个JavaWeb的bug , 关于IDEA启动Tomcat之后控制台一直刷新似地报异常 , 异常是关于ScalarHandler idea java tomcat
2021-11-16 17:18

回答 2 已采纳这个谈不上什么异常，你没有设置时区而已，在你的数据库url后加上?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai
AWS EMR 上 Spark 任务 Container killed Exit code 137 错误
2021-01-22 14:53

stone-zhu的博客一、问题描述近期，使用 AWS EMR 集群上跑 Spark 任务时常...Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 3.0 failed 4 times, most recent failure: Lost task
spark任务常见错误
2022-06-07 20:15

duanbaba的博客 1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to ...
没有解决我的问题, 去提问

悬赏问题

¥15 基于卷积神经网络的声纹识别
¥15 Python中的request，如何使用ssr节点，通过代理requests网页。本人在泰国，需要用大陆ip才能玩网页游戏，合法合规。
¥100 为什么这个恒流源电路不能恒流？
¥15 有偿求跨组件数据流路径图
¥15 写一个方法checkPerson，入参实体类Person，出参布尔值
¥15 我想咨询一下路面纹理三维点云数据处理的一些问题，上传的坐标文件里是怎么对无序点进行编号的，以及xy坐标在处理的时候是进行整体模型分片处理的吗
¥15 CSAPPattacklab
¥15 一直显示正在等待HID—ISP
¥15 Python turtle 画图
¥15 stm32开发clion时遇到的编译问题