我以yarn-cluster模式执行了SparkPi的例子，用了3个节点，传入的参数（分区数量）也为3
schedulerDelay的解释是从sheduler到executor的Task传输时间，和Task结果从executor到sheduler的传输时间。可以通过减小task的大小和task结果的大小来缩短时间，我不是很理解。
求各位大大解释一下怎样减小task的大小，还有task结果怎样影响的sheduler。
最好能给出一个优化前后的代码和WebUI界面
Spark on Yarn ShedulerDelay时间怎样优化？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2022-05-30 02:37回答 3 已采纳 仔细看日志信息，提示0个datanode了，也就是你的hdfs有问题，datanode都没起来，先去确定hdfs集群情况吧
- 2021-07-04 22:12回答 2 已采纳 如果任务推送至yarn上，实际的工作节点为 nodeManager节点。与hive道理相同，hive默认跑mapreduce，单节点的hql查询也是推送任务至yarn上，工作节点为nodeManage
- 2017-08-31 02:42回答 2 已采纳 hibench 测试脚本可以试试，就是跑一个集群测试代码
- 2022-08-03 13:011. 解压Spark安装包 2. 配置Hadoop生态组件相关环境变量 2. 在 master 节点上，关闭HDFS的安全模式： 3. 在 master 节点上
- 2022-05-15 19:13回答 1 已采纳 之前碰到过这个报错，当时修改pom文件添加了一个依赖 <dependency> <groupId>org.apache.hadoop</groupId>
- 2022-04-21 01:37回答 2 已采纳 你在b站视频下面看看评论区，评论区下面的前几个有大佬提供了解决思路。我当时这里报错了，我用了评论区给的方法成功了。如果评论区的方法没有解决，说一个最不好听的方法，你把hive和spark重新装一遍。我
- 2022-10-11 15:35回答 1 已采纳 给你找了一篇非常好的博客，你可以看看是否有帮助，链接：Spark SQL 通过什么来实现？
- 2023-07-02 15:16时下握今的博客 当Spark Application应用提交运行在YARN上时，默认情况下，每次提交应用都需要将依赖Spark相关jar包上传到YARN 集群中，为了节省提交时间和存储空间，将Spark相关jar包上传到HDFS目录中，设置属性告知Spark ...
- 2023-03-15 15:46回答 1 已采纳 这篇文章：spark 运行自带样例SparkPi、spark-examples报错 也许有你想要的答案，你可以看看
- 2022-12-15 15:54
Spark 读取 Hive 数据报错 NoSuchMethodError : org.apache.spark.sql.catalyst.catalog.SessionCatalog
hive
spark
大数据
回答 1 已采纳 22/12/15 15:32:44 INFO SparkContext: Invoking stop() from shutdown hook集群资源不足，且动态资源分配申请的executors、内存 - 2022-04-08 17:24回答 1 已采纳 检查com.dylan.wc.StreamWordCount这个类路径是否正确
- 2022-06-23 16:49姚华军的博客 1、下载解压spark 2、修改spark-env.sh 3、测试运行
- 2021-07-16 08:59回答 1 已采纳 第一种：是spark节点的内存满了，加大执行内存，内存可以在spark的配置文件—>spark-env.sh中可以看到。这个配置文件路径在：/usr/local/spark-2.4.0-bin-
- 2022-12-16 23:05forest_long的博客 四五。运行在一台计算机上的，...打开$(SPARK_HOME)/ect/spark-env.sh。在文档的合适位置（如开始几行）添加如下变其中hadoop换成自己的路径）export SPARK_DIST_CLASSPATH=$(/data/hdp/hadoop-3.2.1/bin/hadoop classp
- 2021-08-30 20:31铃音.的博客 系列文章目录 全国大学生大数据技能竞赛（数仓部署） 全国大学生大数据技能竞赛（Hadoop集群搭建）
- 没有解决我的问题, 去提问
悬赏问题
- ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
- ¥15 （希望可以解决问题）ma和mb文件无法正常打开，打开后是空白，但是有正常内存占用，但可以在打开Maya应用程序后打开场景ma和mb格式。
- ¥15 绘制多分类任务的roc曲线时只画出了一类的roc，其它的auc显示为nan
- ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
- ¥20 腾讯企业邮箱邮件可以恢复么
- ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗？
- ¥15 错误 LNK2001 无法解析的外部符号
- ¥50 安装pyaudiokits失败
- ¥15 计组这些题应该咋做呀
- ¥60 更换迈创SOL6M4AE卡的时候，驱动要重新装才能使用，怎么解决？