weixin_43113933 2019-09-29 14:39 采纳率: 58.3%
浏览 251
已采纳

RDD算子操作的一个问题

网上找的题：RDD算子里操作一个外部map比如往里面put数据。然后算子外再遍历map。会有什么问题吗。
网友答：频繁创建额外对象，容易oom

请问这怎么理解呢，每次put一个数就创建一个对象吗，谁能给我写个简单的代码理解一下，刚学习不久，这种学的不扎实，能从内存上讲解一下更好了，感谢
  • 写回答

1条回答 默认 最新

  • 蔡能教授，网站特聘专家 2019-09-30 11:55
    关注

    https://blog.csdn.net/dsl200970/article/details/70148195

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • RDD算子操作（基本算子和常见算子）
    2023-10-19 17:12
    吗喽也是命的博客 flatMap(f:T=>Seq[U]): RDD[T]=>RDD[U])，表示将RDD经由某一函数f后，转变为一个新的 RDD，但是与map 不同，RDD中的每一个元素会被映射成新的0到多个元素(f 函数返回的是一个序列Seq）。功能：将RDD的数据，加上嵌套...
  • RDD算子介绍（一）
    2024-03-02 17:02
    weixin_46628668的博客 sample算子主要有三个参数，第一个是抽取的数放不放回去，第二个参数是概率，如果抽取不放回，则表示每个数被抽取的概率，如果抽取放回，则表示某个数可能的抽取次数（可能的次数而已），第三个参数是随机数算法种子...
  • Spark RDD算子详解：从入门到精通
    2025-04-12 14:16
    ●^●的博客 RDD（Resilient Distributed Dataset）是Spark的核心概念之一，它是一个分布式的数据集合，提供了丰富的操作接口。本文将详细介绍Spark中常用的RDD算子，包括mapflatMapfilterdistinctsortBy和等。每个算子的讲解都...
  • RDD算子使用--action行动算子操作
    2024-04-28 19:25
    BigData-缑溪的博客 3)collect算子：字面意思就是收集，拉取的...而first是take(n)中比较特殊的一个take(1)。foreach主要功能，就是用来遍历RDD中的每一条纪录，其实现就是将map或者flatMap中的返回值变为Unit即可，即foreach(A => Unit)。
  • RDD转换算子API过程演示【大数据技术】
    2023-03-06 15:56
    让你五行代码的博客 上述代码中，执行words.reduceByKey((a，b) => a + b)操作，共分为两个步骤，分别是先执行reduceByKey()操作，将所有Key相同的Value值合并到一起，生成一个新的键值对(例如(“spark”，(1，1，1)));例如，(“spark”...
  • Spark之RDD算子
    2021-08-11 11:16
    柳小葱的博客 今天出一期spark系列的硬货，即RDD算子，所谓算子，就是对某些事物的操作，或者说是方法。本期主要介绍几十个RDD算子，根据他们的特点，逐一进行介绍，有关spark的往期内容大家可以查看下面的内容????: 链接: Spark...
  • Spark-RDD算子大全
    2024-01-16 14:03
    Young_IT的博客 下面是一些常用的RDD算子：map(func)：对RDD中的每个元素应用给定的函数，返回一个新的RDD。filter(func)：对RDD中的每个元素应用给定的函数，返回满足条件的元素组成的新的RDD。flatMap(func)：对RDD中的每个元素...
  • 大数据——Spark RDD常用算子总结
    2021-07-28 17:15
    Vicky_Tang的博客 Spark的核心是建立在同一的抽象弹性分布式数据集（Resilient Distributed Datasets，RDD）之上的，这使得Spark的各个组件可以无缝的进行集成，能够在同一个应用程序中完成大数据处理 1.RDD基本概念 RDD是spark提供...
  • Spark RDD常用算子操作详解
    2024-07-29 20:13
    JHao的学习屋的博客 RDD，全称为Resilient Distributed Dataset，是一种分布式的数据集，具有容错能力。它是Spark的核心数据抽象，允许我们以并行和分布式的方式处理数据。RDD支持两类操作：转化（Transformations）和行动（Actions）。
  • rdd算子
    2023-10-20 18:29
    没￥开会员的博客 reparation 是coalesce的一种当参数2为True一种简写coalesce 默认只能进行减少分区, 如果要增大分区, 需要将参数2设置为True, 一旦设置为True就会产生shuffle区别:1) 两个算子都是用于重分区的算子, 一个能增大也能...
  • 没有解决我的问题, 去提问

问题事件

  • 已采纳回答 9月25日