CcccccOp 2022-09-02 17:13 采纳率: 100%
浏览 23
已结题

Hadoop集群服务器

请问 如果部署一个hadoop集群，需要每台机器硬件配置都一样么？比如服务器A内存128G 硬盘1T
服务器B 内存700G 硬盘2T
在后续扩容的时候 能否只扩容一个节点的硬盘 ？

  • 写回答

1条回答 默认 最新

  • 你好-C嘉嘉 2022-09-02 17:27
    关注

    不需要都一样。
    比如网络游戏，配置高的节点可以多开几个区，配置低的节点就少开几个区。
    再后续如果需要扩容的时候，要通过hadoop管理界面看看各个节点的使用情况，哪个可用资源少，就针对性的扩容即可

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • Hadoop集群服务器 hadoop 分布式
    2022-09-02 17:13
    回答 1 已采纳 不需要都一样。比如网络游戏，配置高的节点可以多开几个区，配置低的节点就少开几个区。再后续如果需要扩容的时候，要通过hadoop管理界面看看各个节点的使用情况，哪个可用资源少，就针对性的扩容即可
  • Hadoop集群搭建时问题 big data hadoop 大数据
    2022-02-09 08:07
    回答 1 已采纳 题主的hadoop102 和 hadoop103 应该没有开sudo 对吧，直接使用ssh进行命令的启动恐怕是不行的，可以尝试写一个跳转的shell到每个node中进行sudo启动，关于sudo权限
  • hadoop集群测试pi实例出错 hadoop
    2022-04-24 18:59
    回答 1 已采纳 你好，我之前测试成功过，如有帮助，请采纳！ 然后进入到etc/hadoop 目录下，使用命令vim mapred-site.xml将路径添加到<property></property
  • 【大数据】搭建Hadoop集群，超级详细
    2022-07-12 10:40
    小 源的博客 搭建完全分布式运行模式（开发重点）1.1 Hadoop部署1.2 配置集群1.3 配置历史服务器1.4 配置日志的聚集1.5 分发Hadoop1.6 群起集群1.7 Hadoop群起脚本第2章 调优2.2.1 项目经验之HDFS存储多目录2.2.2 集群数据均衡...
  • 搭建hadoop集群时，格式化失败 hadoop 大数据
    2021-11-05 23:39
    回答 2 已采纳 哈哈，我之前也遇到类似的问题，先启动dfs start-dfs.sh,在格式化，我前两天也上传一个Hadoop集群，可以看看
  • 大数据、Hadoop hadoop 大数据
    2022-12-19 16:44
    回答 1 已采纳 format只需要对NameNode做，如果你在node3做了也没关系，删除node3上的、hdfs-site.xml中配置的NameNode对应的目录即可，然后在node1上也删除相同的目录后，重新
  • 关于hadoop和spark大数据开发 大数据
    2016-06-12 05:52
    回答 2 已采纳 你好 本人刚在大数据库处理方面 学习 对此有以下理解 1，大数据处理看到的注重点是对数据处理 ，字段与字段在oracle与oracle ，oracle与mysql，oracle与mariadb等数据
  • 大数据平台，Hadoop集群架构，概述及原理
    2022-04-02 14:33
    无求道贾的博客 大数据平台，Hadoop集群架构，概述及原理，通俗易懂，全程无废话。
  • hadoop集群搭建问题 hadoop linux
    2022-11-25 20:13
    回答 2 已采纳 你原来有openjdk的话，要卸载啊，否则环境变量有冲突呢。
  • hadoop和大数据、spark的关系该怎么理解？ hadoop spark 大数据
    2022-06-23 13:55
    回答 1 已采纳 Hadoop和Spark都是处理大数据的框架。就象你说关系型数据库，这只是一个概念，但是代表了一系列的含意，比如数据是结构化的，基于关系模型存储的。而MySQL、Oracle、SqlServer这些就
  • IDEA运行hadoop集群报错 hadoop idea 有问必答
    2021-12-04 16:26
    回答 1 已采纳 你代码中获取了args中的参数，这个是需要配置的。如果觉得麻烦，直接将代码中涉及args[]取值的地方替换为具体的值。 idea中运行args作为接收参数的程序_Luke
  • Hadoop大数据平台构建、规划大数据平台集群教学课件.pptx
    2022-06-21 09:47
    Hadoop集群的三种模式 单机模式 在单机上运行。 没有分布式文件系统，直接读写本地操作系统。 伪分布模式 在单机上运行。 使用分布式文件系统。 hadoop集群只有一个节点，因此hdfs的块复制将限制为单个副本。 在单个...
  • Hadoop在云服务器搭建集群失败 hadoop java 后端
    2021-08-27 13:47
    回答 1 已采纳 看看你的防火墙有没有关，还有本地的映射有没有配
  • 云服务器大数据高可用集群搭建-----hadoop篇
    2021-12-06 11:15
    清水阁散人的博客 这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与...【注意】主要记录自己在云端服务器搭建个人用hadoop集群过程 新的改变 我们对Markdo
  • 大数据技术之Hadoop集群配置
    2023-03-05 13:38
    小唐同学爱学习的博客 个人主页：小唐同学(๑>؂<๑）的博客主页 目前再学习大数据，现在在初级阶段-刚学Hadoop，若有错误，请指正 目录 一，集群部署规划 二，配置文件说明 三，配置集群： （1）配置核心文件： 四，格式化节点： 五，...
  • 没有解决我的问题, 去提问

问题事件

  • 系统已结题 9月22日
  • 已采纳回答 9月14日
  • 创建了问题 9月2日

悬赏问题

  • ¥15 一个服务器已经有一个系统了如果用usb再装一个系统，原来的系统会被覆盖掉吗
  • ¥15 使用esm_msa1_t12_100M_UR50S蛋白质语言模型进行零样本预测时，终端显示出了sequence handled的进度条，但是并不出结果就自动终止回到命令提示行了是怎么回事：
  • ¥15 前置放大电路与功率放大电路相连放大倍数出现问题
  • ¥30 关于<main>标签页面跳转的问题
  • ¥80 部署运行web自动化项目
  • ¥15 腾讯云如何建立同一个项目中物模型之间的联系
  • ¥30 VMware 云桌面水印如何添加
  • ¥15 用ns3仿真出5G核心网网元
  • ¥15 matlab答疑 关于海上风电的爬坡事件检测
  • ¥88 python部署量化回测异常问题