但是hdfs不是可以通过联邦架构横向扩展么另外想问下hdfs的block数据结构与物理存储是怎样的原理,这块目前还不是很清楚。看你博客里面说,如果是10M的小文件存储,会导致一个block的默认128M空间只使用了10M,这个意思是说会有物理磁盘碎片的意思么?
收起
为啥集群小文件治理那么重要,你真的懂吗?_涤生手记大数据-CSDN博客 小文件是 Hadoop 的常见挑战,如果不小心处理,它们可能会导致许多并发症。Apache Hadoop 分布式文件系统 (HDFS) 旨在存储和处理 TB 和 PB 级的大型数据集。但是,HDFS 存储小文件效率低下,导致 Namenode 内存利用率和 RPC 调用效率低下,块扫描吞吐量下降,应用层性能降低。在这篇博文中,我们将定义小文件存储问题,并研究解决它的方法,同时避免复杂性。... https://blog.csdn.net/qq_26442553/article/details/117444740?spm=1001.2014.3001.5501
报告相同问题?