为什么hadoop 没有driver 的概念而spark 中有
1条回答 默认 最新
Hy_Ugly 2018-04-15 09:34关注spark-shell
spark-submit --class org.apache.spark.repl.Mainspark-sql
spark-submit --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriverspark-thriftServer
spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer解决 无用评论 打赏举报
分享
- 2022-10-31 14:14回答 4 已采纳 集群规模是怎么样的？（10核，128g内存 几台机器？）代码逻辑是怎么样的，单纯的读库的操作吗？还是有大量的shuffle操作EXECUTOR_num EXECUTOR_core 参数分别设置的多少
- 2021-07-30 17:14回答 1 已采纳 可参考：https://blog.csdn.net/zt15732625878/article/details/85245731看客户端的 hive-jdbc的version 和hive Server
- 2021-11-24 10:01回答 1 已采纳 你把它复制到记事本发给我
- 2021-06-29 18:22本课程讲解Spark 3.0.0 Driver 启动内幕 的内容，包括：Spark Driver Program 剖析:Spark Driver Program、SparkContext 深度剖析、SparkContext 源码解析；DAGScheduler 解析：DAG 的实例化 、DAGScheduler 划分...
- 2021-07-16 08:59回答 1 已采纳 第一种：是spark节点的内存满了，加大执行内存，内存可以在spark的配置文件—>spark-env.sh中可以看到。这个配置文件路径在：/usr/local/spark-2.4.0-bin-
- 2022-04-11 21:50
spark 中明明在jars目录下加了mysql jar包，为啥还是出现这种错误 java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
jar
mysql
spark
有问必答
回答 2 已采纳 驱动包没有加载进项目中。 - 2022-04-21 01:37回答 2 已采纳 你在b站视频下面看看评论区，评论区下面的前几个有大佬提供了解决思路。我当时这里报错了，我用了评论区给的方法成功了。如果评论区的方法没有解决，说一个最不好听的方法，你把hive和spark重新装一遍。我
- 2022-04-23 00:04spark官方版本的driver-class-path不支持hdfs路径，只支持本地路径。本资源解决了这个问题，driver-class-path在cluster模式时可以支持hdfs路径，解决了cluster模式driver有大量jar依赖的问题。
- 2022-12-15 15:54 Spark 读取 Hive 数据报错 NoSuchMethodError : org.apache.spark.sql.catalyst.catalog.SessionCatalog
hive
spark
大数据
回答 1 已采纳 22/12/15 15:32:44 INFO SparkContext: Invoking stop() from shutdown hook集群资源不足，且动态资源分配申请的executors、内存
- 2017-09-22 03:23回答 2 已采纳 可能是scala驱动版本不匹配
- 2023-03-15 23:20回答 2 已采纳 不知道你这个问题是否已经解决, 如果还没有解决的话: 你可以参考下这个问题的回答, 看看是否对你有帮助, 链接: https://ask.csdn.net/questions/688018这篇博客你也
- 2024-03-16 16:54海王星程序猿的博客 第二个Driver还负责管理广播变量和累加器，广播变量负责将一个只读对象传递到所有的executor端提供数据计算的需求，而累加器则是用来收集executor端数据的累计行为。任何分布式服务都会有两种角色，一个是Master另一...
- 2018-01-03 02:39回答 6 已采纳 这很明显是一个想把spark在windows上运行的错误，然而spark要依赖hadoop，而hadoop需要在windows编译，hadoop在windows编译后会产生winutils.exe文件
- 2023-07-05 18:15诸葛子房_的博客 200MB以下才建议broadcast，太大的数据建议：两个DataFrame/rdd可以直接关联。1.首先需要理解下Driver 和Executor的概念。4.Executor端数据拉到Driver端。
- 2023-01-29 15:43大数据组件-监控-spark-driver/executor性能的prometheus-grafana模板插件
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 删除虚拟显示器驱动 删除所有 Xorg 配置文件 删除显示器缓存文件 重启系统 可是依旧无法退出虚拟显示器
- ¥15 vscode程序一直报同样的错，如何解决?
- ¥15 关于使用unity中遇到的问题
- ¥15 开放世界如何写线性关卡的用例(类似原神）
- ¥15 关于并联谐振电磁感应加热
- ¥60 请查询全国几个煤炭大省近十年的煤炭铁路及公路的货物周转量
- ¥15 请帮我看看我这道c语言题到底漏了哪种情况吧！
- ¥66 如何制作支付宝扫码跳转到发红包界面
- ¥15 pnpm 下载element-plus
- ¥15 解决编写PyDracula时遇到的问题