为什么hadoop 没有driver 的概念而spark 中有
1条回答 默认 最新
Hy_Ugly 2018-04-15 09:34关注spark-shell
spark-submit --class org.apache.spark.repl.Mainspark-sql
spark-submit --class org.apache.spark.sql.hive.thriftserver.SparkSQLCLIDriverspark-thriftServer
spark-submit --class org.apache.spark.sql.hive.thriftserver.HiveThriftServer解决 无用评论 打赏举报
分享
- 2021-07-30 17:14回答 1 已采纳 可参考：https://blog.csdn.net/zt15732625878/article/details/85245731看客户端的 hive-jdbc的version 和hive Server
- 2021-11-24 10:01回答 1 已采纳 你把它复制到记事本发给我
- 2021-07-16 08:59回答 1 已采纳 第一种：是spark节点的内存满了，加大执行内存，内存可以在spark的配置文件—>spark-env.sh中可以看到。这个配置文件路径在：/usr/local/spark-2.4.0-bin-
- 2021-06-29 18:22本课程讲解Spark 3.0.0 Driver 启动内幕 的内容，包括：Spark Driver Program 剖析:Spark Driver Program、SparkContext 深度剖析、SparkContext 源码解析；DAGScheduler 解析：DAG 的实例化 、DAGScheduler 划分...
- 2022-04-21 01:37回答 2 已采纳 你在b站视频下面看看评论区，评论区下面的前几个有大佬提供了解决思路。我当时这里报错了，我用了评论区给的方法成功了。如果评论区的方法没有解决，说一个最不好听的方法，你把hive和spark重新装一遍。我
- 2022-12-15 15:54
Spark 读取 Hive 数据报错 NoSuchMethodError : org.apache.spark.sql.catalyst.catalog.SessionCatalog
hive
spark
大数据
回答 1 已采纳 22/12/15 15:32:44 INFO SparkContext: Invoking stop() from shutdown hook集群资源不足，且动态资源分配申请的executors、内存 - 2022-10-31 14:14回答 4 已采纳 集群规模是怎么样的？（10核，128g内存 几台机器？）代码逻辑是怎么样的，单纯的读库的操作吗？还是有大量的shuffle操作EXECUTOR_num EXECUTOR_core 参数分别设置的多少
- 2023-07-05 18:15诸葛子房_的博客 200MB以下才建议broadcast，太大的数据建议：两个DataFrame/rdd可以直接关联。1.首先需要理解下Driver 和Executor的概念。4.Executor端数据拉到Driver端。
- 2022-04-11 21:50 spark 中明明在jars目录下加了mysql jar包，为啥还是出现这种错误 java.lang.ClassNotFoundException: com.mysql.jdbc.Driver
jar
mysql
spark
有问必答
回答 2 已采纳 驱动包没有加载进项目中。
- 2017-09-22 03:23回答 2 已采纳 可能是scala驱动版本不匹配
- 2023-03-15 23:20回答 2 已采纳 不知道你这个问题是否已经解决, 如果还没有解决的话: 你可以参考下这个问题的回答, 看看是否对你有帮助, 链接: https://ask.csdn.net/questions/688018这篇博客你也
- 2023-01-29 15:43大数据组件-监控-spark-driver/executor性能的prometheus-grafana模板插件
- 2018-01-03 02:39回答 6 已采纳 这很明显是一个想把spark在windows上运行的错误，然而spark要依赖hadoop，而hadoop需要在windows编译，hadoop在windows编译后会产生winutils.exe文件
- 2022-01-13 00:00程研板的博客 1.Standalone模式中，client是spark-submit进程中开启一个线程，然后通过反射执行driver代码的main方法。cluster是开启DriverWrapper进程来运行driver。 2.Yarn模式，client是spark-submit进程中开启一个线程，然后...
- 2022-04-23 00:04spark官方版本的driver-class-path不支持hdfs路径，只支持本地路径。本资源解决了这个问题，driver-class-path在cluster模式时可以支持hdfs路径，解决了cluster模式driver有大量jar依赖的问题。
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 电力市场出清matlab yalmip kkt 双层优化问题
- ¥30 ros小车路径规划实现不了，如何解决？(操作系统-ubuntu)
- ¥20 matlab yalmip kkt 双层优化问题
- ¥15 如何在3D高斯飞溅的渲染的场景中获得一个可控的旋转物体
- ¥88 实在没有想法，需要个思路
- ¥15 MATLAB报错输入参数太多
- ¥15 python中合并修改日期相同的CSV文件并按照修改日期的名字命名文件
- ¥15 有赏，i卡绘世画不出
- ¥15 如何用stata画出文献中常见的安慰剂检验图
- ¥15 c语言链表结构体数据插入