zhaozhiqiang1990 2015-05-28 14:10 采纳率: 0%
浏览 2233

【大数据/spark/tachyon】请问关于tachyon的内存管理机制和应用

1、请问什么情况数据是确定放在内存的呢,我做loadufs操作从hdfs加载到tachyon的都是看到 not in memory 的,但是用spark textFile(tachyon://hostname:19998/test.txt)调用文件后,后来在web UI上又能看到有部分加载到内存了,比如 69% in memory,
然后saveAsTextFile(tachyon://hostname:19998/reasult.txt)输出的的都一定是在内存的。
2、请问tachyon 和 tachyon-fs 是什么区别呢?
3、把RDD数据rdd.persist(StorageLevel.OFF_HEAP)

真的能有效率提升吗?提升spark分析速度吗?怎么用才是最合理的。

先谢谢各位专家大牛指导

  • 写回答

3条回答 默认 最新

  • llx1943llx 2015-05-29 01:53
    关注

    本人大致了解点,说的也可能不对。
    1.放在哪里,应该是tachyon根据它的配置决定的。
    2. tachyon-fs你指的是 TachyonFS这个类吗?这个类只是给java 的一个API,通过它获取文件、删除文件等。
    3.把RDD放入tachyon主要目的应该是为了减少GC

    评论

报告相同问题?

悬赏问题

  • ¥50 永磁型步进电机PID算法
  • ¥15 sqlite 附加(attach database)加密数据库时,返回26是什么原因呢?
  • ¥88 找成都本地经验丰富懂小程序开发的技术大咖
  • ¥15 如何处理复杂数据表格的除法运算
  • ¥15 如何用stc8h1k08的片子做485数据透传的功能?(关键词-串口)
  • ¥15 有兄弟姐妹会用word插图功能制作类似citespace的图片吗?
  • ¥200 uniapp长期运行卡死问题解决
  • ¥15 latex怎么处理论文引理引用参考文献
  • ¥15 请教:如何用postman调用本地虚拟机区块链接上的合约?
  • ¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题:[h264 @ 000000004faf7500]no frame?