hdfs为什么不适合存储小文件

Question

如题，hdfs为什么不适合存储小文件

网上很多说法说是由于元数据存储在namenode内存结构之中的，海量小文件会导致内存数据不够用，

但是hdfs不是可以通过联邦架构横向扩展么
另外想问下hdfs的block数据结构与物理存储是怎样的原理，这块目前还不是很清楚。看你博客里面说，如果是
10M的小文件存储，会导致一个block的默认128M空间只使用了10M，这个意思是说会有物理磁盘碎片的意思么？

Answer 1

为啥集群小文件治理那么重要，你真的懂吗？_涤生手记大数据-CSDN博客 小文件是 Hadoop 的常见挑战，如果不小心处理，它们可能会导致许多并发症。Apache Hadoop 分布式文件系统 (HDFS) 旨在存储和处理 TB 和 PB 级的大型数据集。但是，HDFS 存储小文件效率低下，导致 Namenode 内存利用率和 RPC 调用效率低下，块扫描吞吐量下降，应用层性能降低。在这篇博文中，我们将定义小文件存储问题，并研究解决它的方法，同时避免复杂性。... https://blog.csdn.net/qq_26442553/article/details/117444740?spm=1001.2014.3001.5501