Spark中可以直接使用内存中的Map对象创建PairRDD吗？

如何直接何使用键值对对象来创建PairRDD?SparkContext的parallize只支持Seq[A]

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
Me丶kang 2020-04-24 06:54
关注
val list = map.toList sc.parallize(list)

这样应该可以？
解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

spark中创建RDD有关问题 spark
2022-06-03 20:23

回答 1 已采纳 Python SparkConf.setAppName方法代码示例 - 纯净天空 Python SparkConf.setAppName方
如何在IntelliJ IDEA中安装完scala后，spark包报红？ intellij-idea spark
2022-04-19 11:52

回答 2 已采纳依赖和依赖的版本都要对上
hive中无法查看spark创建的表 hadoop hive spark 有问必答
2021-06-25 12:55

回答 1 已采纳你切到对应的数据库吗，xshell只是远程工具。
Spark 的键值对（pair RDD）操作，Scala实现
2016-07-04 15:52

搜索与推荐Wiki的博客 Spark为包含键值对对类型的RDD提供了一些专有操作，这些操作就被称为Pair RDD，Pair RDD是很多程序的构成要素，因为它们提供了并行操作对各个键或跨节点重新进行数据分组的操作接口。二：Pair RDD的操作实例 1...
spark集成hbase过程中RDD转换问题 hbase spark
2021-10-28 11:43

回答 1 已采纳用flatmap
怎么在虚拟环境中，用spark的知识分析并可视化？ hadoop python spark
2022-12-12 22:34

回答 1 已采纳中文不显示可能是编码格式的问题，
spark yarn需要部署多个spark吗？ spark
2021-07-04 22:12

回答 2 已采纳如果任务推送至yarn上，实际的工作节点为 nodeManager节点。与hive道理相同，hive默认跑mapreduce，单节点的hql查询也是推送任务至yarn上，工作节点为nodeManage
Spark（4）RDD编程中的transformation算子和action算子使用与区别详解
2020-08-04 16:07

皮哥四月红的博客在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储...
spark会话中对某数据帧使用了cache，没有unpersist就结束了会话，该数据是不是就留在了内存里？如何清除呢？ python spark 数据库
2023-03-06 15:37

回答 1 已采纳该回答引用GPTᴼᴾᴱᴺᴬᴵ在Spark中，使用cache方法将数据帧缓存到内存中，以便快速重用。如果没有调用unpersist()方法，缓存的数据将一直保存在内存中，直到Spark应用程序结束或清除
为啥使用spark或flink就是实时计算，我在java代码里直接写计算代码就不是了吗？ java spark 后端有问必答
2021-09-02 17:59

回答 2 已采纳直接写消费者，行，也是实时计算。区别是spark这种功能比较多，比如多态机器分布部署，容错机制，故障恢复等。所以对于大型系统用spark这种更方便。如果系统的要求没那么高，那肯定是自己写比较方便了。
配置hive on spark测试，创建表，insert测试效果报错，如何解决？ hadoop hive spark 有问必答
2022-04-21 01:37

回答 2 已采纳你在b站视频下面看看评论区，评论区下面的前几个有大佬提供了解决思路。我当时这里报错了，我用了评论区给的方法成功了。如果评论区的方法没有解决，说一个最不好听的方法，你把hive和spark重新装一遍。我
《大数据分析与内存计算》课程期末考核素材.rar spark餐饮系统
2024-07-03 11:17

- **定义**：RDD 是 Spark 中最基本的数据抽象，是一个不可变的、分布式的对象集合。 - **依赖关系**：RDD 之间的依赖关系分为宽依赖和窄依赖。 - **宽依赖**：指的是子 RDD 的每个分区可能依赖于多个父 RDD 的...
如何使用spark mlib进行疾病概率的预测？ spark 决策树大数据
2022-02-09 14:07

回答 1 已采纳二分类本来输出的就是概率，只不过平时习惯性得到0 和 1 是概率划分过界限后得到的结果。很多模型也都是给出了两个预测接口 predict, predict_proba
Spark学习笔记(5)——RDD的创建
2021-07-30 20:42

程光CS的博客在 Spark 中创建 RDD 的创建方式可以分为四种： 1.从集合（内存）中创建 RDD //TODO 准备环境 //*号表示本地环境中最大可用核数，采用多线程模拟集群环境 var sparkConf = new SparkConf().setMaster("local[*]")...
Spark学习—PairRDD编程
2017-05-16 13:29

IT狗探求的博客很多存储键值对的数据格式会在读取时直接返回其键值对数据组成的pair RDD，同时也可以调用map()函数来实现，传递的函数需要返回键值对。对应Java创建PairRDD，由于Java没有自带的二元组类型，因此Spark的J
没有解决我的问题, 去提问

悬赏问题

¥20 求一个手机抓包app支付链接
¥15 byte[]转String后值为[object Object]
¥20 STM32 AD7734
¥15 mmrotate官方的test工具死循环
¥15 使用海洋捕食者算法对岔管分岔角进行优化
¥15 isolar-AB软件安装后打开出错
¥15 如何让usb软件在电脑拔插无记录
¥15 ecology9的待办推送外部系统
¥15 Mplus跑出来的数据只有原数据的一半
¥15 vue项目添加全局处理解决一些开发问题

Spark中可以直接使用内存中的Map对象创建PairRDD吗？

1条回答 默认 最新

悬赏问题

1条回答默认最新