这里想问个问题。
我用Spark SQL从HDFS load上来了一张表。
然后我现在有如下两种情况：
- 新增数据都是通过Spark SQL load进去的
- 这时候我HDFS和RDD上面的数据是否一致
- 我数据是直接load到了HDFS上面（例如是个分区表，增加了一个分区）
- 这时候我HDFS和RDD上面的数据是否一致
麻烦给出详细的原理过程或者参考链接
Spark RDD和HDFS数据一致性问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答 默认 最新
- 2022-06-03 20:23回答 1 已采纳 Python SparkConf.setAppName方法代码示例 - 纯净天空 Python SparkConf.setAppName方
- 2021-10-28 11:43回答 1 已采纳 用flatmap
- 2015-11-23 12:10回答 1 已采纳 先转化为pairrdd，以时段为键，分数次数为值，然后以键aggregate聚合，统计每个键下的值就行了
- 2017-08-29 17:45sunkl_的博客 hdfs为主从架构，主节点为NameNode，主节点负责配合journalNode等完成fsimge完整性。从节点为DataNode，从节点负责存储数据。节点之间通信。。。好吧跑题了！ hdfs文件是分布式存储，每个文件根据配置被切分成...
- 2015-07-23 08:15回答 2 已采纳 spark-src中的pom.xml里有一个protibuf.version属性为2.4.1 而hadoop用的2.5.0修改后重新编译好用
- 2020-05-11 23:57回答 1 已采纳 https://blog.csdn.net/high2011/article/details/53138279
- 2022-11-29 12:45回答 1 已采纳 RDD.getNumPartitions()返回 RDD 中的分区数所以返回结果是2
- 2020-12-31 13:33雯雯呀的博客 Spark通过其强大的功能和快速的数据处理速度使大数据世界着火了。根据Typesafe的一项调查，有71％的人具有Spark的研究经验，而35％的人正在使用它。该调查显示高增长对Apache Spark的认识和在企业中的采用。在迭代...
- 回答 1 已采纳 https://blog.csdn.net/dsl200970/article/details/70148195
- 2023-01-17 22:05回答 2 已采纳 这是一个连接Doris服务器失败的错误，具体原因可能是Doris服务器无法连接或网络故障导致的。
- 2018-11-19 09:05回答 1 已采纳 https://blog.csdn.net/coding01/article/details/81512430
- 2021-04-09 09:02唐樽的博客 RDD简介、五大特征、处理过程、分区原则与方式、窄依赖、宽依赖、stage的划分、DAG(有向无环图)、持久化机制、容错机制、血统( Lineage )方式、 设置检查点(checkpoint)方式、 Spark的任务调度。
- 2017-05-12 07:18回答 1 已采纳 。。。。。。。。。。。。。。。。。。。
- 2020-08-11 01:29一个散步者的梦的博客 sparkRDD计算，共享变量，数据读写；
- 2020-04-09 11:04蜗牛杨哥的博客 http://spark.apache.org/docs/latest/sql-data-sources-json.html http://jsonlines.org/examples/官网的准备的数据集合 启动Spark集群 bin/spark-shell\ --master spark:centoshadoop1...Spark RDD Spark提供...
- 没有解决我的问题, 去提问
悬赏问题
- ¥50 buildozer打包kivy app失败
- ¥30 在vs2022里运行python代码
- ¥15 不同尺寸货物如何寻找合适的包装箱型谱
- ¥15 求解 yolo算法问题
- ¥15 虚拟机打包apk出现错误
- ¥15 用visual studi code完成html页面
- ¥15 聚类分析或者python进行数据分析
- ¥15 三菱伺服电机按启动按钮有使能但不动作
- ¥15 js，页面2返回页面1时定位进入的设备
- ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复