hdfs nfs gateway使用过程中块存储问题-CSDN问答

hdfs nfs gateway使用过程中块存储问题: 利用hdfs nfs gateway将hdfs挂载到另一个linux系统中，如果用linux命令往hdfs被挂载目录下上传文件，会发现就算被上传的文件大小小于一个块（128M），在hdfs中也会占用一个块（128M）的大小，例如上传60M的文件，在webhdfs上看也会占用128M的内容，但是过了大约10分钟之后，多余的磁盘又会被释放出来，像上面的例子，就会变成只占用60M，多余的68M会返回给hdfs的剩余空间中，不知道有没有大神知道其中的原理。
hdfs nfs gateway的配置是参考的官方文档http://hadoop.apache.org/docs/r2.8.0/hadoop-project-dist/hadoop-hdfs/HdfsNfsGateway.html; 发布于：2017.05.31 12:11

| 评论0 | 收藏 | 浏览1242 |

0

: fireling33

声望： 0

1个回答

按赞数排序

http://blog.csdn.net/rzliuwei/article/details/38388279

发布于：2017.05.31 15:26

评论 1 |

1

: 见了你女王大人喵姐还不跪下

声望： 105800

: fireling33 这个文章好像主要是设置nfs gateway的步骤，而块占用方面好像没有涉及; 2 年多之前回复

: 插入链接

本地上传网络图片

上传中...

浏览

上传图片

插入图片

立即提问

相似问题

1: 上传文件到HDFS不能创建副本

1: 为什么HDFS要使用NFSorQJN，而不是直接由NN 传给 SN？

0: 有人在生产环境使用过hdfs nfs gateway吗？

1: MapReduce的过程中，在不同的阶段中间数据是存储在哪里，内存还是本地磁盘还是hdfs？

3: spring中怎么实现hdfs文件的增删改查？

1: hdfs链接特别慢的问题？

2: 上传文件到HDFS，使用hadoop命令，一直报Retrying connect to server

2: AWS S3 与HDFS之间如何实现数据传输，代码实现

1: 流媒体服务器读取hdfs视频文件

0: spark读取hdfs中lzo文件时hadoop版本冲突

0: 关于java代码创建hdfs文件夹权限问题

1: java实现hdfs断点续传功能？

0: 从hdfs中读取数据并用spark操作时出现问题

2: Python操作Hdfs，upload报错erron-3

1: 问下关于hdfs文件上传的问题

2: HDFS 中客户端向datanode写数据问题

3: spark RDD中的元组如何按照指定格式保存到HDFS上？

1: flume+kafka+hdfs 整合问题

2: 怎么将windows 和linux 搭建到一个hadoop 的hdfs集群中

3: sqoop从hdfs导入数据到mysql疑问