怎样证明spark运行程序的时候不是在一台机器上，而是在多台机器上？
如题，希望大家能帮忙解决一下。。。谢谢
怎样证明spark运行程序的时候不是在一台机器上，而是在多台机器上？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2022-03-28 09:27回答 2 已采纳 建议重启一次，然后将主机与服务器设置在同一网段下才能连接第三方
- 2018-11-06 15:11回答 3 已采纳 spark使用命令行提交任务使用场景很窄，一般情况下提交任务、kill任务、查询任务执行状态都是使用http接口，在这种场景下你应该使用livy。你需要安装livy，才可以用，具体安装文档以及使用文档
- 2021-07-04 22:12回答 2 已采纳 如果任务推送至yarn上，实际的工作节点为 nodeManager节点。与hive道理相同，hive默认跑mapreduce，单节点的hql查询也是推送任务至yarn上，工作节点为nodeManage
- 2022-07-01 23:31博_采_众_长的博客 根据应用程序的配置，我们可能获得一个运行Spark驱动器的机器资源，或者可能获得的是我们Spark执行器的计算资源。在Spark应用程序执行过程中，集群管理器将负责管理执行应用程序的底层机器。 Spark目前支持三个集群...
- 2023-04-21 16:19回答 2 已采纳 这篇博客: spark安装踩坑中的 2.JNI error 部分也许能够解决你的问题, 你可以仔细阅读以下内容或跳转源博客中阅读: 报错：A JNI error has occurred, pleas
- 2022-04-19 11:52回答 2 已采纳 依赖和依赖的版本都要对上
- 2022-12-12 22:34回答 1 已采纳 中文不显示可能是编码格式的问题，
- 2021-01-17 18:56weixin_39735166的博客 executor程序代码执行mp.weixin.qq.comdriver是运行用户编写Application 的main()函数的地方，具体负责DAG的构建、任务的划分、task的生成与调度等。job，stage，task生成都离不开rdd自身，rdd的相关的操作不能...
- 2022-08-27 16:48回答 1 已采纳 webui上能看到各个stage运行的阶段，在哪个节点上执行的以及执行信息，希望能帮到你
- 2021-07-30 17:14回答 1 已采纳 可参考：https://blog.csdn.net/zt15732625878/article/details/85245731看客户端的 hive-jdbc的version 和hive Server
- 2021-05-11 11:01回答 2 已采纳 使用旧版本的Maven3.2.5和JDK 8试试
- 2016-12-10 18:02嵇康的博客 源代码：https://github.com/jimingkang/spark ...:spark-2.0.2-bin-hadoop2.7 IDEA配置参考：http://blog.csdn.net/javastart/article/details/43372977‘’ 关键代码： val conf = new SparkConf().setAp
- 2021-09-02 17:59回答 2 已采纳 直接写消费者，行，也是实时计算。区别是spark这种功能比较多，比如多态机器分布部署，容错机制，故障恢复等。所以对于大型系统用spark这种更方便。如果系统的要求没那么高，那肯定是自己写比较方便了。
- 2022-04-05 17:05是小先生的博客 一、数据挖掘与机器学习 1、概念 2、人工智能 3、数据挖掘体系 二、机器学习 1、什么是机器学习 2、机器学习的应用 3、实现机器学习算法的工具与技术框架 三、Spark MLlib介绍 1、简介 2、MLlib基本数据...
- 2022-04-12 18:18LinkTime_Cloud的博客 引 言随着 Kubernetes 越来越成熟，使用者越来越多，大数据应用上云的需求也越来越迫切。原有的大数据资源管理器 Yarn 很难做到所有...而在 Kubernetes 上，此类问题天然解决。所有的应用都以 Pod 形式在 Kubernetes...
- 没有解决我的问题, 去提问
