各位大佬，请教一个问题。
关于spark任务的。
一个大表和一个小表join，大表1.7亿条，小表几百条。
我已经把小表广播了。
在集群下执行的时候，总卡到一个task(通过ui看每次都是最后一个)上，然后长时间等待，最后报executor lost failure。就异常退出了！
这是怎么回事呢？
Spark 感觉任务都集中在了某一个Task上，最终报executor lost failure，执行失败。
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
西門吹牛__Linux 2019-05-30 17:29关注Task倾斜，你可以尝试对大表进行repartition(task数的倍数)，然后 join broadcast(小表名) 小表广播
解决 无用评论 打赏举报 分享
- 2022-05-17 10:42回答 1 已采纳 target字段转数字失败，你看一下数据对应的该字段是不是有非数字的值
- 2018-05-13 05:12回答 1 已采纳 当执行器执行一个任务的时候，它会为此创建一个新的工作线程，说的没错 参考：https://www.cnblogs.com/study-everyday/archive/2017/04/20/67
- 2021-12-31 10:43回答 1 已采纳 可以试试1.检查一下你的executor线程队列配置和拒绝策略，有可能是线程队列配置过小导致有些任务被丢弃了2.查看有没有哪个地方调用了executor的shutDownNow方法，导致线程池被关闭3
- 2023-11-02 18:56
[已解决]Job failed with org.apache.spark.SparkException: Job aborted due to stage failure: Task 3 in stAI_Maynor的博客 如何将hive集群升级到spark,hivesql脚本运行比较慢 参数设置 set hive.execution.engine=spark; 之后报错Expected SaslMessage, received something else (maybe your client does not have SASL enabled ## ... - 2022-04-21 01:37回答 2 已采纳 你在b站视频下面看看评论区，评论区下面的前几个有大佬提供了解决思路。我当时这里报错了，我用了评论区给的方法成功了。如果评论区的方法没有解决，说一个最不好听的方法，你把hive和spark重新装一遍。我
- 2022-05-04 10:33回答 1 已采纳 占用线程，不是占用线程池。设置多少取决于你当前项目环境，还有就是任务执行时取决于当前线程池中还有没有空闲线程。有的话就直接用空闲线程执行。没有的话会进入队列等待线程空闲出来再执行
- 2022-12-17 11:31回答 3 已采纳 我做平常作业时候也会有奇奇怪怪报错，建议你重启试试看，开启的窗口有的打开了最好别关（除非你确定用不着了），或者多运行几遍（整个部分除了开启Hadoop上面的），有时候做之前启动Hadoop时候开启历史
- 2019-06-27 16:11路飞DD的博客 -- 昨夜西风凋碧树，独上高楼，望尽天涯路 问题描述 在 Spark 集群中 读取本地文件出现如下错误： ...Lost task 0.0 in stage 1.0 (TID 2, xxxxx, executor 0): java.io.FileNotFoundException: File file...
- 2023-01-17 22:05回答 2 已采纳 这是一个连接Doris服务器失败的错误，具体原因可能是Doris服务器无法连接或网络故障导致的。
- 2022-02-09 14:38
在使用Spark连接数据库时发生Caused by: java.sql.SQLException: Out of range value for column 'age' : value age
java
spark
sql
回答 1 已采纳 http://cn.voidcc.com/question/p-ozcajljc-dh.html，看下这个 - 2021-11-01 18:22回答 1 已采纳 找到原因了，把chcp路径加到全局设置的环境变量里就可以了
- 2019-05-29 09:32weixin_30421525的博客 堆栈信息中有一个错误信息：Job aborted due to stage failure: Task 1 in stage 2.0 failed 4 times, most recent failure: Lost task 1.3 in stage 2.0 (TID 264, idc-xx-xx-3-30.d.xx.com, executor 2): java....
- 2021-11-16 17:18回答 2 已采纳 这个谈不上什么异常，你没有设置时区而已，在你的数据库url后加上?useUnicode=true&characterEncoding=utf8&serverTimezone=Asia/Shanghai
- 2021-01-22 14:53stone-zhu的博客 一、问题描述 近期，使用 AWS EMR 集群上跑 Spark 任务时常...Caused by: org.apache.spark.SparkException: Job aborted due to stage failure: Task 2 in stage 3.0 failed 4 times, most recent failure: Lost task
- 2022-06-07 20:15duanbaba的博客 1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries!解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to ...
- 没有解决我的问题, 去提问