写Spark脚本处理大规模数据时，如何区分哪部分代码是在单机运行，哪部分代码是在集群运行？

写回答
好问题 0 提建议
关注问题
分享
邀请回答
编辑收藏删除
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
此木Y 2022-08-30 17:53
关注
webui上能看到各个stage运行的阶段，在哪个节点上执行的以及执行信息，希望能帮到你

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

为啥使用spark或flink就是实时计算，我在java代码里直接写计算代码就不是了吗？ java spark 后端有问必答
2021-09-02 17:59

回答 2 已采纳直接写消费者，行，也是实时计算。区别是spark这种功能比较多，比如多态机器分布部署，容错机制，故障恢复等。所以对于大型系统用spark这种更方便。如果系统的要求没那么高，那肯定是自己写比较方便了。
hadoop和大数据、spark的关系该怎么理解？ hadoop spark 大数据
2022-06-23 13:55

回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
大数据，spark ，doris mysql spark 大数据
2023-01-17 22:05

回答 2 已采纳这是一个连接Doris服务器失败的错误，具体原因可能是Doris服务器无法连接或网络故障导致的。
美团是如何应用Spark处理大数据的？
2019-12-05 15:23

BAO7988的博客总体而言，Spark由于其灵活的编程接口、高效的内存计算，能够适用于大部分数据处理场景。前言美团最初的数据处理以Hive SQL为主，底层计算引擎为MapReduce，部分相对复杂的业务会由工程师编写MapReduce程序实现...
我在运行Tomcat的时候遇到了如下问题，请大家看一下到底是什么情况啊 intellij-idea spark tomcat 有问必答
2022-04-12 10:17

回答 2 已采纳被压缩的文件中有中文，设置压缩文件编码ZipFile zipOutFile = new ZipFile(zipFile,Charset.forName("gbk"));
linux下安装spark运行代码提示java.lang.illegal出错 java linux spark
2022-01-01 00:30

回答 1 已采纳提示的很明显了，file://改为file:///
大数据框架中的hadoop和hive spark presto tez是什么关系 hadoop hive spark
2022-12-24 10:29

回答 1 已采纳 Hadoop是一个分布式计算框架，可以在大数据集上运行分布式应用程序。它由许多组件组成，包括HDFS（分布式文件系统）和MapReduce（分布式计算引擎）。Hive是一个基于Hadoop的数据仓库系
大数据处理架构Hadoop生态系统，在各个模块的作用是什么？
2019-12-21 14:22

qunqun8889的博客即使是大数据的架构，应用层依然会是传统的web应用，但是会根据数据特点对数据存储（结构化数据依然会保存在传统的关系型数据库——如MySql，日志等非结构数据会保存在分布式文件系统——如Hadoop的HDFS）。...
spark通过jdbc读取hive的表报错，我是在zeppelin里运行的 hive spark
2017-06-06 08:21

回答 1 已采纳在目前Hive 1.2的JDBC版本里面，使用它会报错：`java.sql.SQLException: Method not supported at org.apache.hive.jdbc.Hiv
Spark SQL应用通过Java代码提交至Yarn集群上 java spark
2022-10-11 15:35

回答 1 已采纳给你找了一篇非常好的博客，你可以看看是否有帮助，链接：Spark SQL 通过什么来实现？
如何在IntelliJ IDEA中安装完scala后，spark包报红？ intellij-idea spark
2022-04-19 11:52

回答 2 已采纳依赖和依赖的版本都要对上
大数据开发实战：美团是如何应用Spark处理大数据的？
2019-07-27 15:53

bobo79888的博客美团最初的数据处理以Hive SQL为主，底层计算引擎为MapReduce，部分相对复杂的业务会由工程师编写MapReduce程序实现。随着业务的发展，单纯的Hive SQL查询或者MapReduce程序已经越来越难以满足数据处理和分析的需求...
基于Hadoop的MapReduce网站日志大数据分析（含预处理MapReduce程序、hdfs、flume、sqoop、hive、mysql、hbase组件、echarts）
2023-07-04 08:00

王小王-123的博客 Hadoop的网站日志大数据分析方法。本项目首先将网站日志上传到HDFS分布式文件系统，然后使用MapReduce进行数据预处理。通过使用Hive进行大数据分析，我们能够对网站的PV、独立IP、用户注册数和跳出用户数等重要指标...
Spark大数据分析与实战笔记（第二章 Spark基础-02）
2024-01-02 08:03

想你依然心痛的博客 Spark Standalone集群是主从架构的集群模式，由于存在单点故障问题，解决这个问题需要用到Zookeeper服务，其基本原理是将Standalone集群连接到同一个Zookeeper实例并启动多个Master节点，利用Zookeeper提供的选举和...
Spark在大数据分析中的使用方式
2021-07-28 16:01

Ayanha的博客 spark应用程序通过驱动器程序（spark shell、idea等）来发起在集群上的并行操作，包括定义集群上的分布式数据集(RDD)，并对数据集进行操作。驱动器程序通过对象SparkContext（即sc）连接spark集群，从而访问spark...
没有解决我的问题, 去提问

问题事件

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
系统已结题 9月8日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
已采纳回答 8月31日
关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
创建了问题 8月27日

写Spark脚本处理大规模数据时，如何区分哪部分代码是在单机运行，哪部分代码是在集群运行？

1条回答 默认 最新

问题事件

1条回答默认最新