1、请问什么情况数据是确定放在内存的呢,我做loadufs操作从hdfs加载到tachyon的都是看到 not in memory 的,但是用spark textFile(tachyon://hostname:19998/test.txt)调用文件后,后来在web UI上又能看到有部分加载到内存了,比如 69% in memory,
然后saveAsTextFile(tachyon://hostname:19998/reasult.txt)输出的的都一定是在内存的。
2、请问tachyon 和 tachyon-fs 是什么区别呢?
3、把RDD数据rdd.persist(StorageLevel.OFF_HEAP)
真的能有效率提升吗?提升spark分析速度吗?怎么用才是最合理的。
先谢谢各位专家大牛指导