优化 Spark group-by 时 key【过多】有什么办法？
优化 Spark group-by 时 key【过多】有什么办法？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
- 热爱Coding 2021-07-22 09:10关注
key太多从来不是问题，有几个key后面数据太多才是问题。
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2021-07-21 10:25回答 2 已采纳 key太多从来不是问题，有几个key后面数据太多才是问题。 https://blog.csdn.net/guotong1988/article/details/118996129
- 2022-06-23 13:55回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
- 2022-09-16 19:01回答 1 已采纳 因为spark是计算引擎，你是将你的代码提交到spark上运行，不是运行spark程序
- 2023-04-20 10:48upward337的博客 尚硅谷大数据技术Spark教程-笔记02【SparkCore（核心编程，map、mapPartitions、mapPartitionsWithIndex、flatMap、glom、groupBy、filter、sample、distinct、coalesce、repartition、sortBy、intersection、union...
- 2023-01-17 22:05回答 2 已采纳 这是一个连接Doris服务器失败的错误，具体原因可能是Doris服务器无法连接或网络故障导致的。
- 2022-12-24 10:29回答 1 已采纳 Hadoop是一个分布式计算框架，可以在大数据集上运行分布式应用程序。它由许多组件组成，包括HDFS（分布式文件系统）和MapReduce（分布式计算引擎）。Hive是一个基于Hadoop的数据仓库系
- 2022-10-16 15:59回答 1 已采纳 这里提示的是你的spark里边的配置文件spark-env.sh 里边的hadoop路径写错了 这里应该是在hadop-2.7.5/etc/hadoop还有就是你的scala的路径也写错了，你在检查
- 2022-12-20 20:30Souvenirser的博客 groupBy效率较慢,可以使用reduceByKey / aggregateByKey替代groupBy, 因为这两个算子可以进行预聚合. 但是需要先将DataFrame转为RDD.Spark中建议不要使用过于复杂的数据结构,如: HashMap[String, String], ArrayList...
- 2021-07-16 08:59回答 1 已采纳 第一种：是spark节点的内存满了，加大执行内存，内存可以在spark的配置文件—>spark-env.sh中可以看到。这个配置文件路径在：/usr/local/spark-2.4.0-bin-
- 2021-08-03 17:06回答 2 已采纳 先看看hadoop集群有没有正常开启，检查hdfs路径有没有问题
- 2022-04-19 11:52回答 2 已采纳 依赖和依赖的版本都要对上
- 2022-06-12 21:38starxhong的博客 groupByKey、groupBy、reduceByKey的区别介绍
- 2023-03-15 15:46回答 1 已采纳 这篇文章：spark 运行自带样例SparkPi、spark-examples报错 也许有你想要的答案，你可以看看
- 2022-11-27 20:14最后一瓶脉动的博客 spark源码
- 2023-01-15 16:50Spark是加州大学伯克利分校AMP实验室（Algorithms, Machines, and People Lab）开发通用内存并行...除此之外，RDD还提供了诸如join、groupBy、reduceByKey等更为方便的操作（注意，reduceByKey是action，而非transforma
- 没有解决我的问题, 去提问
问题事件
已采纳回答
7月22日-
创建了问题
7月21日
悬赏问题
- ¥30 自适应 LMS 算法实现 FIR 最佳维纳滤波器matlab方案
- ¥15 lingo18勾选global solver求解使用的算法
- ¥15 全部备份安卓app数据包括密码，可以复制到另一手机上运行
- ¥15 Python3.5 相关代码写作
- ¥20 测距传感器数据手册i2c
- ¥15 RPA正常跑，cmd输入cookies跑不出来
- ¥15 求帮我调试一下freefem代码
- ¥15 matlab代码解决，怎么运行
- ¥15 R语言Rstudio突然无法启动
- ¥15 关于#matlab#的问题：提取2个图像的变量作为另外一个图像像元的移动量，计算新的位置创建新的图像并提取第二个图像的变量到新的图像