各位大佬，请教一个问题。
关于spark任务的。
一个大表和一个小表join，大表1.7亿条，小表几百条。
我已经把小表广播了。
在集群下执行的时候，总卡到一个task(通过ui看每次都是最后一个)上，然后长时间等待，最后报executor lost failure。就异常退出了！
这是怎么回事呢？
spark 任务执行时间长，最终卡挂了。
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2022-12-26 21:08回答 2 已采纳 Spark SQL 的执行顺序通常分为以下几步：解析 SQL 语句：Spark SQL 会先将 SQL 语句解析成内部的表达式树，以便对其进行更好的优化。优化表达式树：在解析后，Spark SQL 会
- 2018-11-06 15:11回答 3 已采纳 spark使用命令行提交任务使用场景很窄，一般情况下提交任务、kill任务、查询任务执行状态都是使用http接口，在这种场景下你应该使用livy。你需要安装livy，才可以用，具体安装文档以及使用文档
- 2022-09-16 19:01回答 1 已采纳 因为spark是计算引擎，你是将你的代码提交到spark上运行，不是运行spark程序
- 2023-03-14 09:09晓之以理的喵~~的博客 Spark 作业执行流程
- 2021-08-10 17:25回答 1 已采纳 对，一般是jar包，还可以参考： https://blog.csdn.net/bingshi7573/article/details/100958187 h
- 2017-11-07 09:17回答 3 已采纳 我觉得你有点大材小用了，，而且太麻烦了，， 首先，spark有原生的sparkSQL可以直接调用，没必要hive 我觉得你对大数据的计算框架没理解透彻， spark和hadoop都是一样的，计算
- 2021-06-12 23:04回答 3 已采纳 主要有两个原因，第一个就是你的电脑本身就不好，配置低，第二个就是你给这个虚拟机分配的运行内存不够或者说有点小了
- 2023-02-20 11:04黑眼圈@~@的博客 Spark每个job之间任务间隔过长优化经历
- 2017-10-11 08:02回答 1 已采纳 http://blog.csdn.net/kimyoungvon/article/details/52045395
- 2022-05-15 19:13回答 1 已采纳 之前碰到过这个报错，当时修改pom文件添加了一个依赖 <dependency> <groupId>org.apache.hadoop</groupId>
- 2022-12-07 13:39回答 1 已采纳 缺少jar包：org/slf4j/impl/StaticLoggerBinder，添加一下slf4j-nop-xxx.jar
- 2019-03-24 18:36巴拉巴拉朵的博客 有时候Spark任务莫名会在某个Stage卡住，然后一直停在那里，如果任务重新跑的话又是没有问题的，在实际项目中如果这样的任务出现了，需要仔细分析Spark的log，这样的情况一般是数据不均衡导致的某个节点任务量偏大，...
- 2016-07-22 07:45回答 2 已采纳 刚写了一个测试程序试了一下，循环调度一个shell 。 shell中 只有一个 sleep 42332423s 当次shell 未完成，下次循环不会去执行shell，该shell的状态是 r
- 2019-09-29 08:56我在北国不背锅的博客 有时候Spark任务莫名会在某个Stage卡住，然后一直停在那里，如果任务重新跑的话又是没有问题的，在实际项目中如果这样的任务出现了，需要仔细分析Spark的log，这样的情况一般是数据不均衡导致的某个节点任务量偏大，...
- 2021-06-29 09:14七十七亓的博客 DolphinSchedule执行Spark任务失败,但yarn实际是执行成功的,且目标库中有执行结果. yarn： ds 的worker报错日志： [ERROR] 2021-06-28 14:59:41.693 org.apache.dolphinscheduler.common.utils....
- 没有解决我的问题, 去提问
