_尛广 2016-05-27 02:42 采纳率: 0%
浏览 1640
已结题

hadoop磁盘负载不均问题

大家好，我想请教一个问题
hadoop的磁盘负载是按照机器来做的么
例如我有三台datanode磁盘配置如下（第一个数字是磁盘个数，第二个是磁盘大小），第1台：10 * 100G，第2台：10 * 100G，第3台：4 * 100G
不考虑备份和其他影响的情况下存入1200G数据，那么第三台机器是不是就满了呢

  • 写回答

1条回答 默认 最新

  • 普通网友 2016-10-04 18:33
    关注

    p磁盘负载不均问题 2C
    大家好，我想请教一个问题
    hadoop的磁盘负载是按照机器来做的么
    例如我有三台datanode磁盘配置如下（第一个数字是磁盘个数，第二个是磁盘大小），第1台：10 * 100G，第2台：10 * 100G，第3台：4 * 100G
    不考虑备份和其他影响的情况下存入1200G数据，那么第三台机器是不是就满了呢

    评论

报告相同问题？

  • hadoop的端口占用问题 hadoop hdfs 大数据
    2022-12-31 23:49
    回答 1 已采纳 如果你觉得端口号为2181被占用导致了你的resourcemanagerj启动失败的话，你可以使用下面的步骤来检查端口号2181是否被占用：1.在命令行中输入1sof-i:2181,查看端口号2181
  • Hadoop远程调试连接问题 hadoop java maven
    2022-08-13 17:50
    回答 1 已采纳 之前hadoop环境你是怎么进去的，跳板机吗？你有通过本地跳板到hadoop所在的服务器上吗？你和hadoop是同一网段吗？
  • Hadoop集群搭建时问题 big data hadoop 大数据
    2022-02-09 08:07
    回答 1 已采纳 题主的hadoop102 和 hadoop103 应该没有开sudo 对吧，直接使用ssh进行命令的启动恐怕是不行的，可以尝试写一个跳转的shell到每个node中进行sudo启动，关于sudo权限
  • hadoop负载均衡
    2017-12-04 20:32
    雾幻的博客 理想情况下，在一个集群汇总，我们希望每台机器都发挥自己最大的价值，磁盘的利用率均衡化。 往往因为网络，硬件，程序...当HDFS出现不平衡状况的时候，将引发很多问题 MR程序无法很好地利用本地计算的优势 Ma...
  • Hadoop虚拟机有关的问题 hadoop ubuntu
    2021-09-21 19:15
    回答 1 已采纳 官方文档是初学者最好的文档，遇到一些问题再搜索。如下是我按照官方文档的安装和测试的 GBase 8a加载hadoop 测试2.6.10版本3节点集群安装 – 老紫竹的家
  • hadoop的运行问题 hadoop
    2023-03-20 15:43
    回答 1 已采纳 这样运行了，就等结果输出就可以了，在output文件夹里面查看运行的结果
  • hadoop集群搭建问题 hadoop linux
    2022-11-25 20:13
    回答 2 已采纳 你原来有openjdk的话，要卸载啊，否则环境变量有冲突呢。
  • hadoop hdfs 解决磁盘间数据不均衡问题
    2019-01-09 17:23
    zllaccount的博客 二、磁盘倾斜引起的性能问题  （1）MR程序无法很好地利用本地计算的优势  （2）机器之间无法达到更好的网络带宽使用率  （3）机器磁盘无法利用   通过以下脚本可以解决磁盘间数据拷贝以实现磁盘间均衡 #!/bin...
  • 上传文件到hadoop出问题 hadoop
    2022-03-29 08:31
    回答 3 已采纳 先看这样能不能传 hadoop fs -put README.txt /input
  • hadoop集群搭建安装jdk问题 hadoop linux
    2022-11-26 16:58
    回答 3 已采纳 1.检查java版本和hadoop版本的匹配度。2.检查java环境配置profile里面确认。
  • Hadoop格式化集群出现问题 hadoop
    2021-07-18 00:29
    回答 2 已采纳 重建不需要，把hdfs中的 data log edit等目录清空(所有用到的目录清空)，停止集群，启动jourNode，启动一个nameNode，然后再进行格式化就好
  • 基于多变量动态算法的Hadoop负载均衡优化与实现
    2021-01-19 23:50
    分析了云计算平台Hadoop负载均衡机制，针对Hadoop系统自带的均衡器要预先输入阈值才能运行之不足，通过多变量动态估计阈值对其进行优化与实现，依据集群磁盘空间负载情况和集群繁忙程度来动态估计均衡器的阈值，并给...
  • hadoop eclipse 配置问题 eclipse hadoop
    2018-04-09 01:44
    回答 2 已采纳 DFS指的是分布式文件系统的端口，你配置的默认是9001，填的却是9000，这里错了？
  • hadoop集群负载均衡以及配置方法
    2018-05-07 18:25
    AA赵师傅的博客 一个良好的hadoop集群应该是数据均匀的分布在各个节点上，而不是一个节点磁盘都满了，而另一个磁盘使用率才不到10%，这里简单介绍一下hadoop数据存储的原理以及如何保证数据均匀的分布在各个节点上。 本地数据上传...
  • (hadoop运维 三) hadoop集群负载均衡
    2017-11-16 17:03
    逍锅锅_的博客 当hadoop集群中增加节点、删除节点或者某个节点磁盘占用率比较高的情况下，节点之间的存储就会不均衡，此时就需要对集群进行重新的负载均衡，在做负载均衡之前，首先要调整dfs.balance.bandwidthPerSec参数，该参数...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 #MATLAB仿真#车辆换道路径规划
  • ¥15 java 操作 elasticsearch 8.1 实现 索引的重建
  • ¥15 数据可视化Python
  • ¥15 要给毕业设计添加扫码登录的功能！！有偿
  • ¥15 kafka 分区副本增加会导致消息丢失或者不可用吗？
  • ¥15 微信公众号自制会员卡没有收款渠道啊
  • ¥100 Jenkins自动化部署—悬赏100元
  • ¥15 关于#python#的问题：求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 关于#windows#的问题：怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘