HDfS dfs.data.dir 配置多目录结构

hdfs dfs.data.dir 配置多个本地目录存储，如果多个目录的容量不同，是否会出现短木板原则的存储？比如说：一台服务器上，dfs.data.dir配置了两个目录：一个目录有10T,还有一个目录是20T。在实际存储过程中，这两个目录资源是怎么利用的，有经验的请多指点。

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

1条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
devmiao 2016-07-23 15:54
关注
http://zhidao.baidu.com/link?url=3AEdvuio5RaS6Cx7LQ3zB4TvfizNO7-PquCrlMH1l0Y56cyXsmnAC-gHFs2DX8LRXmK6gPyTC5od5tJq5pEGyrytvuAx3h3oqMdg9ZlpSce

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

报告相同问题？

关注问题

hdfs dfs -put ~/input/data.txt /input 出错 hdfs
2022-04-20 17:28

回答 2 已采纳找不到可以存放数据的DN，看看你的DN是否健康
HadoopWARN hdfs.DataStreamer:DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io 大数据
2022-04-18 17:38

回答 1 已采纳可以参考一下我这篇博文，根据报错，应该是配置错误。https://blog.csdn.net/qq_15604349/article/details/123717540
hadoop hdfs dfs没有任何反应？ hadoop hdfs 大数据
2022-10-04 19:13

回答 1 已采纳不是没有反应，而是目录下没有文件，所以ls后没有内容可以显示，可以试试ls /
dfs.namenode.name.dir 和dfs.datanode.data.dir dfs.name.dir 与 dfs.data.dir的意思
2020-05-12 15:26

圣☞摧枯拉朽的博客 dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？ dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？有何作用？我们可以在本地文件系统中找到HDFS文件系统中文件或目录的位置吗？我们...
error org. apache. hadoop.hdfs. server. namenode. namenode: failed to start namenode java
2022-10-09 21:20

回答 1 已采纳建议你看下这篇博客👉 ：ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode. java.n
使用hdfs上传文件报错org.apache.hadoop.hdfs.CannotObtainBlockLengthExceptio hadoop hdfs java
2022-08-15 11:47

回答 6 已采纳信息不足不是很好判断，找了下源码，报错的方法如下： /** Read the block length from one of the datanodes. */ private long rea
输入命令为:hdfs dfs -ls / ，什么也没返回，HFDS根目录下一片空白大数据
2018-10-23 07:50

回答 2 已采纳启动yarn，去 master:50070 上看一下，你的hdfs上是否有文件
dfs.namenode.name.dir 和dfs.datanode.data.dir目录
2020-03-05 09:17

问君何能尔？心远地自偏的博客 dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？ dfs.namenode.name.dir 和dfs.datanode.data.dir分别是什么目录？有何作用？我们可以在本地文件系统中找到HDFS文件系统中文件或目录的位置吗？我们...
启动伪分布hadoop时sbin/start-dfs.sh进不去 hadoop
2022-09-22 22:50

回答 1 已采纳把对应id的进程kill，再试试
求救啊！Hadoop 2.2.0 搭建集群启动hdfs时候 namenode 启动后报空指针 hadoop node.js
2015-02-06 17:35

回答 1 已采纳 at org.apache.hadoop.hdfs.server.namenode.ha.StandbyCheckpointer.getHttpAddress(StandbyCheckpointer.
创建hdfs文件系统下目录创建不成功 hadoop
2021-12-23 19:44

回答 2 已采纳您这个问题是因为您没有把hadoop里面的bin目录放到PATH变量中呢，您可以通过以下方式将hadoop的bin目录放到PATH中呢 vim /etc/profile export PATH=$P
Hadoop参数：dfs.name.dir 与 dfs.data.dir
2017-09-07 11:42

Vanessa_wanglu的博客 dfs.name.dir Determines where on the local filesystem the DFS name node should store the name table(fsimage). If this is a comma-delimited list of directories then the name table is replicated in a
hadoop(hdfs):command not found.如何解决？ centos linux
2020-03-18 09:44

回答 1 已采纳 export PATH 那里$HADOOP\_HOME/bin和后面$PATH少一个冒号
Hadoop 启动 HDFS DataNode 时报错：Invalid dfs.datanode.data.dir
2020-08-30 15:59

DataChat.Club的博客使用 $HADOOP_PREFIX/sbin/hadoop-daemons.sh --config $HADOOP_CONF_DIR --script hdfs start datanode 启动 datanode 后，通过jps发现并没有 datanode 进程，在 datanode 日志中存在以下报错信
hadoop关于dfs.datanode.data.dir下多个目录不均衡问题
2017-09-15 15:47

milyhj123的博客 hadoop的dfs.datanode.data.dir是设置datanode节点存储数据块文件的本地路径，通常可以设置多个，用逗号隔开： <property> <name>dfs.datanode.data.dir</name> &lt...
没有解决我的问题, 去提问

悬赏问题

¥15 c程序不知道为什么得不到结果
¥40 复杂的限制性的商函数处理
¥15 程序不包含适用于入口点的静态Main方法
¥15 素材场景中光线烘焙后灯光失效
¥15 请教一下各位，为什么我这个没有实现模拟点击
¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
¥20 有关区间dp的问题求解
¥15 多电路系统共用电源的串扰问题
¥15 slam rangenet++配置

HDfS dfs.data.dir 配置多目录结构

1条回答 默认 最新

悬赏问题

1条回答默认最新