需求大概是list和list对比，然后过滤出重叠部分，不希望用 笛卡儿积 ，因为数据量大的时候，非常的慢，希望用filter去过滤。所以想问下rdd中能不能实现：再去过滤一下数据。
大致逻辑如下：会提示SparkContext没有序列化的。不知道还有没有什么方式可以实现
spark中的rdd还能查数据么
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2022-06-03 20:23回答 1 已采纳 Python SparkConf.setAppName方法代码示例 - 纯净天空 Python SparkConf.setAppName方
- 2023-01-17 22:05回答 2 已采纳 这是一个连接Doris服务器失败的错误，具体原因可能是Doris服务器无法连接或网络故障导致的。
- 2021-10-28 11:43回答 1 已采纳 用flatmap
- 2020-05-03 12:05RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。在 Spark 中，对数据的所有操作不外乎创建 RDD、转化已有RDD 以及...
- 2020-05-11 23:57回答 1 已采纳 https://blog.csdn.net/high2011/article/details/53138279
- 2015-11-23 12:10回答 1 已采纳 先转化为pairrdd，以时段为键，分数次数为值，然后以键aggregate聚合，统计每个键下的值就行了
- 2017-09-06 08:27回答 1 已采纳 可以使用spark的连接器： CREATE table st_order ( shop_id string, `date` string) using com.sequoiadb.spark
- 2022-03-08 21:18ShowMeAI的博客 RDD(弹性分布式数据集合)是Spark的基本数据结构，Spark中的所有数据都是通过RDD的形式进行组织。本文讲解RDD的属性、创建方式、广播与累加器等重要知识点，并图解RDD高频算子。
- 2022-11-29 23:12回答 1 已采纳 那么dataframe，rdd相关语法懂得了的话在开发的过程中又有什么用途呢，或者有什么优势呢？----- 这些懂了可以更加清楚spark的数据转换过程，知道的底层更对多对写代码的优化会更加好
- 2018-11-19 09:05回答 1 已采纳 https://blog.csdn.net/coding01/article/details/81512430
- 2021-11-24 10:01回答 1 已采纳 你把它复制到记事本发给我
- 2022-10-05 15:48嘎嘎想学习的博客 Spark中的RDD数据模型
- 2022-11-29 12:53回答 1 已采纳 RDD.getNumPartitions()返回 RDD 中的分区数所以答案是：2
- 2022-04-20 15:14骨灰级收藏家的博客 大数据spark框架常用数据类型RDD与DataFrame的区别，在spark中，RDD、DataFrame是最常用的数据类型，在ApacheSpark里面DF 优于RDD但也包含了RDD的特性，在使用的过程中分别介绍下两者的区别和各自的优势。...
- 2022-11-28 22:00落叶飘雪2014的博客 Spark系列之Spark的RDD详解
- 没有解决我的问题, 去提问
问题事件
系统已结题
8月28日
创建了问题
8月20日
悬赏问题
- ¥60 求一个简单的网页(标签-安全|关键词-上传)
- ¥35 lstm时间序列共享单车预测，loss值优化，参数优化算法
- ¥15 基于卷积神经网络的声纹识别
- ¥15 Python中的request，如何使用ssr节点，通过代理requests网页。本人在泰国，需要用大陆ip才能玩网页游戏，合法合规。
- ¥100 为什么这个恒流源电路不能恒流？
- ¥15 有偿求跨组件数据流路径图
- ¥15 写一个方法checkPerson，入参实体类Person，出参布尔值
- ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题，上传的坐标文件里是怎么对无序点进行编号的，以及xy坐标在处理的时候是进行整体模型分片处理的吗
- ¥15 一直显示正在等待HID—ISP
- ¥15 Python turtle 画图