在学习spark过程中，对spark的运行有点疑问。spark任务提交都是通过打jar包，然后用命令行spark-submit。这样不是跟应用脱离了么。不知道具体使用什么方式执行spark并得到结果的。
生产环境下究竟是如何连接远程spark的呢？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
咕泡-星云 2021-08-20 15:49关注spark-submit提交后，可以将jar包提交到比如yarn集群上去运行，详细还可参考：
Spark任务提交(Spark Submit) - 纯净天空 Spark任务提交(Spark Submit)https://vimsky.com/article/3491.html
spark-submit介绍 - 云+社区 - 腾讯云 spark-submit脚本通常位于/usr/local/spark/bin目录下，可以用which spark-submit来查看它所在的位置，spark-s... https://cloud.tencent.com/developer/article/1434008
如有帮助，望及时采纳本回答被题主选为最佳回答 , 对您是否有帮助呢?解决评论 打赏无用 1举报 分享
- 2021-08-20 10:02回答 1 已采纳 spark-submit提交后，可以将jar包提交到比如yarn集群上去运行，详细还可参考： Spark任务提交(Spark Submit) - 纯净天空 Spark任务提交(Spark Su
- 2022-06-23 13:55回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
- 2023-01-17 22:05回答 2 已采纳 这是一个连接Doris服务器失败的错误，具体原因可能是Doris服务器无法连接或网络故障导致的。
- 2024-03-25 15:34不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，...
- 2021-07-04 22:12回答 2 已采纳 如果任务推送至yarn上，实际的工作节点为 nodeManager节点。与hive道理相同，hive默认跑mapreduce，单节点的hql查询也是推送任务至yarn上，工作节点为nodeManage
- 2022-12-24 10:29回答 1 已采纳 Hadoop是一个分布式计算框架，可以在大数据集上运行分布式应用程序。它由许多组件组成，包括HDFS（分布式文件系统）和MapReduce（分布式计算引擎）。Hive是一个基于Hadoop的数据仓库系
- 2023-03-15 15:46回答 1 已采纳 这篇文章：spark 运行自带样例SparkPi、spark-examples报错 也许有你想要的答案，你可以看看
- 2024-04-09 17:51不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，...
- 2022-02-09 14:07回答 1 已采纳 二分类本来输出的就是概率，只不过平时习惯性得到0 和 1 是概率划分过界限后得到的结果。很多模型也都是给出了两个预测接口 predict, predict_proba
- 2022-12-12 22:34回答 1 已采纳 中文不显示可能是编码格式的问题，
- 2022-01-18 20:31回答 3 已采纳 spark sql中可以使用except来获得两组数据的交集 SELECT * FROM student_1 EXCEPT SELECT * FROM student_2; 你如果是某一行中的某
- 2024-03-28 15:39不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，...
- 2021-06-12 23:04回答 3 已采纳 主要有两个原因，第一个就是你的电脑本身就不好，配置低，第二个就是你给这个虚拟机分配的运行内存不够或者说有点小了
- 2020-09-07 03:31weixin_26746401的博客 As a data scientist, you are developing notebooks that process large data that does not fit in your laptop using Spark. What would you do? This is not a trivial problem. 作为数据科学家，您正在开发使用...
- 2024-03-30 14:21不懂运行，下载完可以私聊问，可远程教学 该资源内项目源码是个人的毕设，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ <项目介绍> 1、该资源内项目代码都经过测试运行成功，...
- 没有解决我的问题, 去提问
问题事件
系统已结题
9月10日
已采纳回答
9月2日-
创建了问题
8月20日
悬赏问题
- ¥15 stata安慰剂检验作图但是真实值不出现在图上
- ¥15 c程序不知道为什么得不到结果
- ¥40 复杂的限制性的商函数处理
- ¥15 程序不包含适用于入口点的静态Main方法
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位，为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题