使用spark集群运行程序时报错日志显示：
ERROR TaskSchedulerImpl:70 - Lost executor 1 on : Executor heartbeat timed out after 381181 ms
所以使用spark submit更改心跳时间
[hadoop@Master spark2.4.0]$ bin/spark-submit --master spark://master:7077 --conf spark.worker.timeout 10000000 --py-files id.py id.py --name id
但是显示没有指令，请问该怎么做？
Error: Invalid argument to --conf: spark.worker.timeout
使用spark的standalone模式调整心跳时间时出现Error(Invalid argument to --conf: spark.worker.timeout)？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2021-07-16 08:59回答 1 已采纳 第一种：是spark节点的内存满了，加大执行内存，内存可以在spark的配置文件—>spark-env.sh中可以看到。这个配置文件路径在：/usr/local/spark-2.4.0-bin-
- 2021-12-16 02:48回答 2 已采纳 有没有试过指定运行插件的版本呢？比如 mvn org.apache.maven.plugins:maven-archetype-plugin:2.4:generate\ -Darchetyp
- 2018-01-12 08:58回答 2 已采纳 用 -L加上include路径试试
- 2022-04-19 13:54一头秀发的小白的博客 使用docker-compose部署项目时，多项目之间存在依赖管理，顺序启动使用wait-for-it.sh 下载地址 问题描述 各种问题，查了半天，记录之 把下载下来的wait-for-it.sh拖进Linux，兴高采烈的去执行./wait-for-it.sh，啪...
- 2022-10-27 12:07回答 1 已采纳 这个问题怎么了呀
- 2021-08-30 21:33回答 2 已采纳 你好，我是有问必答小助手，非常抱歉，本次您提出的有问必答问题，技术专家团超时未为您做出解答本次提问扣除的有问必答次数，将会以问答VIP体验卡（1次有问必答机会、商城购买实体图书享受95折优惠）的形式为
- 2022-06-24 12:48回答 2 已采纳 启动成功了吗
- 2021-03-18 16:19RJ_Dream的博客 spark-submit.s 首先由spark-submit.sh脚本提交任务： if [ -z "${SPARK_HOME}" ]; then source "$(dirname "$0")"/find-spark-home fi # disable randomized hash for string in Python 3.3+ export ...
- 2017-02-01 08:02回答 1 已采纳 Looking at your attempt to load the mpxj-5.6.0.jar, I noticed you tried to make it available to th
- 回答 2 已采纳 https://blog.csdn.net/jycjyc/article/details/90714427
- 2021-03-17 18:18回答 4 已采纳 你的vue-easytable这个东西下载了吗 你看下node_modules里面有没有这个东西
- 2021-08-31 15:52shining_yyds的博客 一、Spark不同运行模式 首先来看Spark关于Driver和Executor的解释： Driver：运行Application的main()函数并创建SparkContext(应用程序的入口)。驱动程序，负责向ClusterManager提交作业。和集群的executor进行...
- 2017-08-29 02:12回答 4 已采纳 我用的也是idea，，，，(No POM)，，，你是不是刚已创建就运行了，，，危险 我的IDEA创建，，webapp需要大概两分钟（有点久，时间乱说的） 等一会，，maven项目可
- 2022-01-11 09:54lucklilili的博客 Spark provides three locations to configure the system: Spark propertiescontrol most application parameters and can be set by using aSparkConfobject, or through Java system properties. Environment ...
- 2019-05-15 15:53yisun123456的博客 1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to ...
- 2020-04-04 14:06Lee_Wei4939的博客 standalone模式下的资源、任务调度源码剖析 整体流程图 standalone模式简介 standalone模式，是spark自带的资源调度框架，该框架下主要有三个节点： client 客户端，将应用程序提交，记录着要运行业务逻辑 master ...
- 2018-09-20 15:16weixin_30575309的博客 Spark使用Scala开发，安装的Scala版本必须和Spark使用的版本一致，否则使用Scala编写的Spark任务会有兼容性问题 可以到Spark官网查看确定Scala版本，或者通过执行Spark的bin/spark-shell查看 依赖jdk，安装之前需要...
- 段智华的博客 第32课：Spark Worker原理和源码剖析解密：Worker工作流程图、Worker启动Driver源码解密、Worker启动Executor源码解密等本节基于Spark 2.1版本从四个方面解密Spark Worker的运行原理和源码:1，Spark源码剖析 2，...
- 2017-04-12 21:21ztguang的博客 porting MPTCP to LineageOS-14.1-kiwi - 内核不包含MPTCP--cat-dev-kmsg.txt
- 没有解决我的问题, 去提问
悬赏问题
- ¥30 这是哪个作者做的宝宝起名网站
- ¥60 版本过低apk如何修改可以兼容新的安卓系统
- ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
- ¥50 有数据，怎么建立模型求影响全要素生产率的因素
- ¥50 有数据，怎么用matlab求全要素生产率
- ¥15 TI的insta-spin例程
- ¥15 完成下列问题完成下列问题
- ¥15 C#算法问题, 不知道怎么处理这个数据的转换
- ¥15 YoloV5 第三方库的版本对照问题
- ¥15 请完成下列相关问题！