bin/spark-submit
--class org.apache.spark.examples.SparkPi
--master yarn
--deploy-mode cluster
./examples/jars/spark-examples_2.12-3.0.0.jar
10
spark on yarn模式下运行程序，怎么查看程序的执行时间啊？ 求帮助
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2021-09-28 16:58回答 2 已采纳 该问题由hive与spark两者版本不兼容导致的，具体的解释，在官网是有说明的：Hive on Spark is only tested with a specific version of Spar
- 2022-05-30 02:37回答 3 已采纳 仔细看日志信息，提示0个datanode了，也就是你的hdfs有问题，datanode都没起来，先去确定hdfs集群情况吧
- 2021-07-04 22:12回答 2 已采纳 如果任务推送至yarn上，实际的工作节点为 nodeManager节点。与hive道理相同，hive默认跑mapreduce，单节点的hql查询也是推送任务至yarn上，工作节点为nodeManage
- 2023-04-28 20:04P("Struggler") ?的博客 spark on yarn执行过程
- 2022-04-21 01:37回答 2 已采纳 你在b站视频下面看看评论区，评论区下面的前几个有大佬提供了解决思路。我当时这里报错了，我用了评论区给的方法成功了。如果评论区的方法没有解决，说一个最不好听的方法，你把hive和spark重新装一遍。我
- 2022-05-15 19:13回答 1 已采纳 之前碰到过这个报错，当时修改pom文件添加了一个依赖 <dependency> <groupId>org.apache.hadoop</groupId>
- 2022-04-08 17:24回答 1 已采纳 检查com.dylan.wc.StreamWordCount这个类路径是否正确
- 2024-06-22 08:37m0_70276855的博客 Spark On YARN架构 Spark On YARN的两种提交方式 Spark On YARN模式遵循YARN的官方规范，YARN只负责资源的管理和调度，运行哪种应用程序由用户自己决定，因此可能在YARN上同时运行MapReduce程序和Spark程序，YARN...
- 2021-07-04 18:40回答 2 已采纳 如果任务为多个，那么standalone模式下，资源隔离做的较差。
- 2021-07-16 08:59回答 1 已采纳 第一种：是spark节点的内存满了，加大执行内存，内存可以在spark的配置文件—>spark-env.sh中可以看到。这个配置文件路径在：/usr/local/spark-2.4.0-bin-
- 2023-03-15 15:46回答 1 已采纳 这篇文章：spark 运行自带样例SparkPi、spark-examples报错 也许有你想要的答案，你可以看看
- 2021-04-11 00:46Lansonli的博客 Spark On Yarn两种模式 引入 一、当一个MR应用提交运行到Hadoop YARN上时 包含两个部分：应用管理者AppMaster和运行应用进程Process（如MapReduce程序MapTask和ReduceTask任务），如下图所示： 二、当一个...
- 2017-08-31 02:42回答 2 已采纳 hibench 测试脚本可以试试，就是跑一个集群测试代码
- 2022-12-16 23:05forest_long的博客 spark执行start-master.sh 报错java.lang.NoClassDefFoundError: org/apache/log4j/spi/Filter解决方法： 打开$(SPARK_HOME)/ect/spark-env.sh。在文档的合适位置（如开始几行）添加如下变其中hadoop换成自己的路径...
- 2024-11-06 19:57天冬忘忧的博客 本文将深入探讨为什么要将 Spark 程序运行在 YARN 上而不是 Spark 自带的 Standalone 集群上，详细介绍 Spark 的 YARN 集群搭建过程，以及在 YARN 模式下不同 deploy mode 的区别，并结合实际测试案例，帮助读者全面...
- 没有解决我的问题, 去提问
问题事件
系统已结题
4月14日
创建了问题
4月6日
悬赏问题
- ¥15 MATLAB解决问题
- ¥20 哪位专业人士知道这是什么原件吗？哪里可以买到?
- ¥15 关于#c##的问题：treenode反序列化后获取不到上一节点和下一节点，Fullpath和Handle报错
- ¥15 一部手机能否同时用不同的app进入不同的直播间？
- ¥15 没输出运行不了什么问题
- ¥20 输入import torch显示Intel MKL FATAL ERROR，系统驱动1%，: Cannot load mkl_intel_thread.dll.
- ¥15 点云密度大则包围盒小
- ¥15 nginx使用nfs进行服务器的数据共享
- ¥15 C#i编程中so-ir-192编码的字符集转码UTF8问题
- ¥15 51嵌入式入门按键小项目