hive ON SPARK，用的是容量调度器，跑了一个任务，yarn界面看到executor节点的container内存为8G，但打开spark的web界面发现executor只有3.6G，那么剩下的4.4G是干什么用了？
0条回答 默认 最新
- 2022-04-21 01:37回答 2 已采纳 你在b站视频下面看看评论区，评论区下面的前几个有大佬提供了解决思路。我当时这里报错了，我用了评论区给的方法成功了。如果评论区的方法没有解决，说一个最不好听的方法，你把hive和spark重新装一遍。我
- 2021-09-28 16:58回答 2 已采纳 该问题由hive与spark两者版本不兼容导致的，具体的解释，在官网是有说明的：Hive on Spark is only tested with a specific version of Spar
- 2022-12-08 11:36回答 3 已采纳 hive-seit.xml文件里面必须要添加设置 执行引擎为spark
- 2021-09-11 02:41王知无(import_bigdata)的博客 欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！...1.1 spark.executor.cores.
- 2022-05-19 19:51回答 3 已采纳 你用的beeline方式连接的吧 beeline连接是有限的当连接超出的时候就会出问题 你尝试一下 直接连接hivecli 应该会好一点
- 2021-06-25 12:55回答 1 已采纳 你切到对应的数据库吗，xshell只是远程工具。
- 2021-07-30 17:14回答 1 已采纳 可参考：https://blog.csdn.net/zt15732625878/article/details/85245731看客户端的 hive-jdbc的version 和hive Server
- 2022-08-28 18:45电光闪烁的博客 考虑到系统基础服务和HDFS等组件的余量，一般会将YARN NodeManager的yarn.nodemanager.resource.cpu-vcores参数设为28，也就是YARN能够利用其中的28核，此时将spark.executor.cores设为4最合适，最多可以正好分配给7...
- 2022-12-24 10:29回答 1 已采纳 Hadoop是一个分布式计算框架，可以在大数据集上运行分布式应用程序。它由许多组件组成，包括HDFS（分布式文件系统）和MapReduce（分布式计算引擎）。Hive是一个基于Hadoop的数据仓库系
- 2022-12-15 15:54
Spark 读取 Hive 数据报错 NoSuchMethodError : org.apache.spark.sql.catalyst.catalog.SessionCatalog
hive
spark
大数据
回答 1 已采纳 22/12/15 15:32:44 INFO SparkContext: Invoking stop() from shutdown hook集群资源不足，且动态资源分配申请的executors、内存 - 2022-03-27 14:34回答 2 已采纳 把情景一改成这样试试spark.sql(""" INSERT INTO hive_test_one.djia_table(date, open, high, low, close, volume,
- 2022-07-22 16:26工作变成艺术的博客 Hive-on-Spark调优
- 2017-09-06 08:27回答 1 已采纳 可以使用spark的连接器： CREATE table st_order ( shop_id string, `date` string) using com.sequoiadb.spark
- 2022-07-15 20:43柯南学数据的博客 为解决hive on spark 在生产环境中的常见故障，以及hive on spark的强大，特从以下十点对hive on spark 进行调优
- 2022-06-23 14:38undo_try的博客 Hive on Spark参数调优总结
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 咨询bilbil上这个视频音字同步的效果用什么软件可实现？
- ¥15 西门子plc6ES7217-1AG40-0XB0怎么rs485通讯呀！
- ¥15 matlab有svec这个函数吗？
- ¥15 无法调用VideoWriter_fourcc
- ¥15 VB6.0无法加载网页验证码图片到picturebox中，求解。
- ¥15 C#和GDAL对栅格处理
- ¥15 我现在有一些关于提升机故障的专有文本数据，量也不多，我在label studio上进行了关系和实体的标注，完成了知识图谱的构造，那么我使用生成式模型的话，我能做哪些工作来写我的论文？
- ¥15 电脑连不上无线网络如下诊断反馈应该如何操作
- ¥15 telegram api 使用forward_messages方法转发消息时，目标群组里面会出现此消息来源，如何隐藏？
- ¥15 关于#tensorflow#的问题：有没有什么方法可以让机器自己学会像素风格的图片