DV2
2016-06-04 08:25Spark RDD和HDFS数据一致性问题
2这里想问个问题。
我用Spark SQL从HDFS load上来了一张表。
然后我现在有如下两种情况:
- 新增数据都是通过Spark SQL load进去的
- 这时候我HDFS和RDD上面的数据是否一致
- 我数据是直接load到了HDFS上面(例如是个分区表,增加了一个分区)
- 这时候我HDFS和RDD上面的数据是否一致
麻烦给出详细的原理过程或者参考链接
- 点赞
- 回答
- 收藏
- 复制链接分享
0条回答
为你推荐
- 使用先前值和当前值更新每一行
- mysql
- php
- 2个回答
- spark(scala) 以空格进行分割,忽略引号内的空格
- scala
- 1个回答
- pycharm 执行有关spark代码出现错误
- python
- java
- scala
- 1个回答
- mysql如何将查出来的某个字段变成表头
- sql
- java
- mysql
- 5个回答
- ajax的responseXML读取的问题
- ajax
- javascript
- 0个回答
换一换