问答首页 悬赏问题 未解决 已解决 标签 专家问答 光荣榜 C币充值 我要提问 问答帮助
Spark RDD和HDFS数据一致性问题 2C

这里想问个问题。

我用Spark SQL从HDFS load上来了一张表。
然后我现在有如下两种情况：

  1. 新增数据都是通过Spark SQL load进去的
    • 这时候我HDFS和RDD上面的数据是否一致
  2. 我数据是直接load到了HDFS上面（例如是个分区表，增加了一个分区）
    • 这时候我HDFS和RDD上面的数据是否一致

麻烦给出详细的原理过程或者参考链接

Csdn user default icon
插入链接
本地上传 网络图片
上传中...
上传图片
插入图片
抄袭、复制答案，以达到刷声望分或其他目的的行为，在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了！
我要提问
立即提问

相似问题

1
以下代码在运行时报以下错误
0
spark 中rdd与dataframe的合并（join）
1
Spark读取错误PrematureEOFfrominputStream
1
spark rdd 取前20条 saveAsHadoopDataset
1
Spark交互查询和数据缓存重用
1
怎么把Dataset[LabeledPoin]转换成RDD[LabeledPoin]
1
sparkStreaming运行一段时间发生错误 timeout: timed out
2
把RDD存入文件，得到的文件内容如下，如何才能正确存入RDD的内容？
1
SparkStreaming整合Kakfa后，生成DStream里，rdd数量的问题
3
一个RDD能不能按其元素分为很多个子RDD？
1
请问scala怎么实现多个集合中的元素的两辆比较
0
spark中我需要判断一个rdd中的元素在另一个rdd中的位置
1
求助！spark读取文件问题
0
Randomness disabled via PYTHONHASHSEED
3
java处理读取一个文件夹下的10个文件后再读取11~20该如何实现呢？
1
java spark获取多个gz文件时怎样提高速度