_Kafka_ 2021-12-29 14:48 采纳率: 0%
浏览 24

HDFS 使用关系型数据库存储管理元数据是不是更有优势

  1. 过多小文件问题:HDFS 将文件元数据维护在内存当中,过多的小文件会占用更多namenode内存,同时namenode增加了元数据管理压力。
  2. 集群达到一定规模后几千台随着元数据越来越来大,集群启动加载fsimage会占用很长时间。

如果将元数据存储在关系型数据库,小文件问题会解决因为元数据是存放在数据库中,可以支持到十亿级别。同时也没有了加载fsimage操作,同时关系型数据库也可以做HA。

  • 写回答

1条回答 默认 最新

  • 关注

    HDFS本身的出发点就不是为了处理小文件而产生的,HDFS的优势在于对大文件的分布式处理能力和备份恢复能力。非要用HDFS处理小文件性能肯定受影响。

    评论

报告相同问题?

问题事件

  • 修改了问题 12月29日
  • 创建了问题 12月29日

悬赏问题

  • ¥15 如何用Labview在myRIO上做LCD显示?(语言-开发语言)
  • ¥15 Vue3地图和异步函数使用
  • ¥15 C++ yoloV5改写遇到的问题
  • ¥20 win11修改中文用户名路径
  • ¥15 win2012磁盘空间不足,c盘正常,d盘无法写入
  • ¥15 用土力学知识进行土坡稳定性分析与挡土墙设计
  • ¥70 PlayWright在Java上连接CDP关联本地Chrome启动失败,貌似是Windows端口转发问题
  • ¥15 帮我写一个c++工程
  • ¥30 Eclipse官网打不开,官网首页进不去,显示无法访问此页面,求解决方法
  • ¥15 关于smbclient 库的使用