Spark RDD和HDFS数据一致性问题 2C

这里想问个问题。

我用Spark SQL从HDFS load上来了一张表。
然后我现在有如下两种情况:

  1. 新增数据都是通过Spark SQL load进去的
    • 这时候我HDFS和RDD上面的数据是否一致
  2. 我数据是直接load到了HDFS上面(例如是个分区表,增加了一个分区)
    • 这时候我HDFS和RDD上面的数据是否一致

麻烦给出详细的原理过程或者参考链接

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问