Prayer X 2020-04-23 00:10 采纳率: 0%
浏览 136

Spark中可以直接使用内存中的Map对象创建PairRDD吗？

如何直接何使用键值对对象来创建PairRDD?SparkContext的parallize只支持Seq[A]

  • 写回答

1条回答

  • Me丶kang 2020-04-24 06:54
    关注
    val list = map.toList
sc.parallize(list)

    这样应该可以？

    评论

报告相同问题？

  • Spark 的键值对（pair RDD）操作，Scala实现
    2016-07-04 15:52
    搜索与推荐Wiki的博客  Spark为包含键值对对类型的RDD提供了一些专有操作，这些操作就被称为Pair RDD，Pair RDD是很多程序的构成要素，因为它们提供了并行操作对各个键或跨节点重新进行数据分组的操作接口。 二：Pair RDD的操作实例 1...
  • Python大数据分析与人工智能中的Spark - RDD案例分析与实战
    2024-12-13 17:06
    AI_DL_CODE的博客 Spark的核心概念弹性分布式数据集（RDD）为处理海量数据提供了一种高效、...通过深入研究Spark - RDD的案例分析和实战操作，我们可以更好地掌握大数据分析和人工智能的核心技术，从而为解决实际问题提供有力的支持。
  • Spark RDD编程初级实践
    2024-07-06 14:52
    柔雾的博客 执行sc.textFile()方法以后，Spark从本地文件word.txt中加载数据到内存，在内存中生成一个RDD对象lines，这个RDD里面包含了若干个元素，每个元素的类型是String类型，也就是说，从word.txt文件中读取出来的每一行...
  • Spark（4）RDD编程中的transformation算子和action算子使用与区别详解
    2020-08-04 16:07
    皮哥四月红的博客 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储...
  • Spark学习—PairRDD编程
    2017-05-16 13:29
    IT狗探求的博客 很多存储键值对的数据格式会在读取时直接返回其键值对数据组成的pair RDD，同时也可以调用map()函数来实现，传递的函数需要返回键值对。 对应Java创建PairRDD，由于Java没有自带的二元组类型，因此Spark的J
  • Spark学习笔记(5)——RDD的创建
    2021-07-30 20:42
    程光CS的博客 在 Spark 中创建 RDD 的创建方式可以分为四种： 1.从集合（内存）中创建 RDD //TODO 准备环境 //*号表示本地环境中最大可用核数，采用多线程模拟集群环境 var sparkConf = new SparkConf().setMaster("local[*]")...
  • 《大数据分析与内存计算》课程期末考核素材.rar spark餐饮系统
    2024-07-03 11:17
    - **定义**：RDD 是 Spark 中最基本的数据抽象，是一个不可变的、分布式的对象集合。 - **依赖关系**：RDD 之间的依赖关系分为宽依赖和窄依赖。 - **宽依赖**：指的是子 RDD 的每个分区可能依赖于多个父 RDD 的...
  • spark java_Spark中使用Java编程的常用方法
    2021-02-12 09:09
    weixin_39747293的博客 一、初始化SparkContextSystem.setProperty("hadoop.home.dir","D:\\spark-1.6.1-bin-hadoop2.6\\spark-1.6.1-bin-hadoop2.6");SparkConf conf = new SparkConf().setAppName("sparktest1").setMaster("local[2]");...
  • Spark编程基础
    2024-04-06 10:10
    wanglingli95的博客 RDD是一个容错的、只读的、可进行并行操作的数据结构，是一个分布在集群各个节点中的存放元素的集合，即弹性分布式数据集。
  • Spark二之RDD
    2021-08-22 20:44
    橙色旋涡的博客 一、Spark RDD 概述 Resilient Distributed Dataset(http://spark.apache.org/docs/latest/rdd-programming-guide.html) 回顾Spark 程序，一般都包含一个Driver Program用于运行main函数，在该函数中执行着各种各样...
  • 没有解决我的问题, 去提问