如题，
spark：在reduceByKey中，怎么获取到key的值
1条回答
- 「已注销」 2019-08-25 20:14关注
.map((key,value)=>(key,(key,value)))
先map将value转为(key,value)
reduceByKey就可以获取到key值解决 无用评论 打赏举报
分享
- 2021-07-21 10:25回答 2 已采纳 key太多从来不是问题，有几个key后面数据太多才是问题。 https://blog.csdn.net/guotong1988/article/details/118996129
- 2022-10-31 14:14回答 4 已采纳 集群规模是怎么样的？（10核，128g内存 几台机器？）代码逻辑是怎么样的，单纯的读库的操作吗？还是有大量的shuffle操作EXECUTOR_num EXECUTOR_core 参数分别设置的多少
- 2022-04-19 11:52回答 2 已采纳 依赖和依赖的版本都要对上
- 2021-02-12 22:17hai xiao的博客 我正在尝试reduceByKey使用java作为编程语言来了解Spark中的工作。说我有一句话“我就是我”。我把句子分解成单词并将其存储为列表[I, am, who, I, am]。现在，此函数将分配1给每个单词：JavaPairRDD ones = words....
- 2022-12-12 22:34回答 1 已采纳 中文不显示可能是编码格式的问题，
- 2021-06-25 12:55回答 1 已采纳 你切到对应的数据库吗，xshell只是远程工具。
- 2018-11-06 15:11回答 3 已采纳 spark使用命令行提交任务使用场景很窄，一般情况下提交任务、kill任务、查询任务执行状态都是使用http接口，在这种场景下你应该使用livy。你需要安装livy，才可以用，具体安装文档以及使用文档
- 2021-02-28 07:58冯晞帆-稀饭的博客 groupByKey、reduceByKey、sortByKey算子也是Spark中经常使用到的transformation算子。groupByKey把相同的key的数据分组到一个集合序列当中：[("spark",1), ("hive",1), ("spark",1), ("hadoop",1), ("hive",1)] --&...
- 2022-05-12 13:28回答 1 已采纳 你下面这行是读取的员工文件里的数据然后按照\t切分数据 切分之后获取每列数据 首先确认一下 数据是不是用制表符切分的 然后看一下是不是有的行数据切分完是不是四列
- 2022-05-23 11:39回答 1 已采纳 修改用户权限，你的权限不够
- 2022-12-15 15:54
Spark 读取 Hive 数据报错 NoSuchMethodError : org.apache.spark.sql.catalyst.catalog.SessionCatalog
hive
spark
大数据
回答 1 已采纳 22/12/15 15:32:44 INFO SparkContext: Invoking stop() from shutdown hook集群资源不足，且动态资源分配申请的executors、内存 - 2022-11-27 20:14最后一瓶脉动的博客 spark源码
- 2022-11-29 13:16回答 1 已采纳 1、目前pyspark.sql.types支持的数据类型：NullType、StringType、BinaryType、BooleanType、DateType、TimestampType、Decim
- 2017-05-15 15:29松门一枝花的博客 ---------------------------------------...最近经常使用到reduceByKey这个算子，懵逼的时间占据多数，所以沉下心来翻墙上国外的帖子仔细过了一遍，发现一篇不错的，在此加上个人的理解整体过一遍这个算子，那么我们开
- 2019-03-04 19:49dong_lxkm的博客 一、reduceByKey作用 reduceByKey将RDD中所有K,V对中，K值相同的V进行合并，而这个合并，仅仅根据用户传入的函数来进行，下面是wordcount的例子。 import java.util.Arrays; import java.util.List; ...
- 没有解决我的问题, 去提问
