HDfS dfs.data.dir 配置多目录结构

hdfs dfs.data.dir 配置多个本地目录存储，如果多个目录的容量不同，是否会出现短木板原则的存储？比如说：一台服务器上，dfs.data.dir配置了两个目录：一个目录有10T,还有一个目录是20T。在实际存储过程中，这两个目录资源是怎么利用的，有经验的请多指点。

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
devmiao 2016-07-23 15:54
关注
http://zhidao.baidu.com/link?url=3AEdvuio5RaS6Cx7LQ3zB4TvfizNO7-PquCrlMH1l0Y56cyXsmnAC-gHFs2DX8LRXmK6gPyTC5od5tJq5pEGyrytvuAx3h3oqMdg9ZlpSce

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

hdfs dfs -put ~/input/data.txt /input 出错 hdfs
2022-04-20 17:28

回答 2 已采纳找不到可以存放数据的DN，看看你的DN是否健康
HadoopWARN hdfs.DataStreamer:DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io 大数据
2022-04-18 17:38

回答 1 已采纳可以参考一下我这篇博文，根据报错，应该是配置错误。https://blog.csdn.net/qq_15604349/article/details/123717540
hadoop hdfs dfs没有任何反应？ hadoop hdfs 大数据
2022-10-04 19:13

回答 1 已采纳不是没有反应，而是目录下没有文件，所以ls后没有内容可以显示，可以试试ls /
dfs.namenode.name.dir 和dfs.datanode.data.dir dfs.name.dir 与 dfs.data.dir的意思
2020-05-12 15:26

圣☞摧枯拉朽的博客 dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？ dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？有何作用？我们可以在本地文件系统中找到HDFS文件系统中文件或目录的位置吗？我们...
error org. apache. hadoop.hdfs. server. namenode. namenode: failed to start namenode java
2022-10-09 21:20

回答 1 已采纳建议你看下这篇博客👉 ：ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. java.n
使用hdfs上传文件报错org.apache.hadoop.hdfs.CannotObtainBlockLengthExceptio hadoop hdfs java
2022-08-15 11:47

回答 6 已采纳信息不足不是很好判断，找了下源码，报错的方法如下： /** Read the block length from one of the datanodes. */ private long rea
输入命令为:hdfs dfs -ls / ，什么也没返回，HFDS根目录下一片空白大数据
2018-10-23 07:50

回答 2 已采纳启动yarn，去 master:50070 上看一下，你的hdfs上是否有文件
dfs.namenode.name.dir 和dfs.datanode.data.dir目录
2020-03-05 09:17

问君何能尔？心远地自偏的博客 dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？ dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？有何作用？我们可以在本地文件系统中找到HDFS文件系统中文件或目录的位置吗？我们...
启动伪分布hadoop时sbin/start-dfs.sh进不去 hadoop
2022-09-22 22:50

回答 1 已采纳把对应id的进程kill，再试试
求救啊！Hadoop 2.2.0 搭建集群启动hdfs时候 namenode 启动后报空指针 hadoop node.js
2015-02-06 17:35

回答 1 已采纳 at org.apache.hadoop.hdfs.server.namenode.ha.StandbyCheckpointer.getHttpAddress(StandbyCheckpointer.
创建hdfs文件系统下目录创建不成功 hadoop
2021-12-23 19:44

回答 2 已采纳您这个问题是因为您没有把hadoop里面的bin目录放到PATH变量中呢，您可以通过以下方式将hadoop的bin目录放到PATH中呢 vim /etc/profile export PATH=$P
Hadoop参数：dfs.name.dir 与 dfs.data.dir
2017-09-07 11:42

Vanessa_wanglu的博客 dfs.name.dir Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in a
hadoop(hdfs):command not found.如何解决？ centos linux
2020-03-18 09:44

回答 1 已采纳 export PATH 那里$HADOOP\_HOME/bin和后面$PATH少一个冒号
Hadoop 启动 HDFS DataNode 时报错：Invalid dfs.datanode.data.dir
2020-08-30 15:59

DataChat.Club的博客使用 $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode 启动 datanode 后，通过jps发现并没有 datanode 进程，在 datanode 日志中存在以下报错信
hadoop关于dfs.datanode.data.dir下多个目录不均衡问题
2017-09-15 15:47

milyhj123的博客 hadoop的dfs.datanode.data.dir是设置datanode节点存储数据块文件的本地路径，通常可以设置多个，用逗号隔开： <property> <name>dfs.datanode.data.dir</name> &lt...
没有解决我的问题, 去提问

悬赏问题

¥15 基于卷积神经网络的声纹识别
¥15 Python中的request，如何使用ssr节点，通过代理requests网页。本人在泰国，需要用大陆ip才能玩网页游戏，合法合规。
¥100 为什么这个恒流源电路不能恒流？
¥15 有偿求跨组件数据流路径图
¥15 写一个方法checkPerson，入参实体类Person，出参布尔值
¥15 我想咨询一下路面纹理三维点云数据处理的一些问题，上传的坐标文件里是怎么对无序点进行编号的，以及xy坐标在处理的时候是进行整体模型分片处理的吗
¥15 CSAPPattacklab
¥15 一直显示正在等待HID—ISP
¥15 Python turtle 画图
¥15 stm32开发clion时遇到的编译问题