Hdfs-site.xml

Question

主机名master改成caopenghai
slave1改成hadoop01
slave2改成hadoop02
hdfs-site.xml该怎么改？

<!-- journalnode 集群之间通信的超时时间 -->
<property>
    <name>dfs.qjournal.start-segment.timeout.ms</name>
    <value>60000</value>
</property>
<!--指定 hdfs 的 nameservice 为 mycluster ，需要和 core-site.xml 中的保持一致 dfs.ha.namenodes.[nameservice id]为在 nameservice 中的每一个 NameNode 设置唯一标示符。配置一个逗号分隔的 NameNode ID 列表。这将是被 DataNode 识别为所有的 NameNode。如果使用"mycluster"作为 nameservice ID，并且使用"master"和"slave1"作为 NameNodes 标示符 -->
<property>
    <name>dfs.nameservices</name>
    <value>mycluster</value>
</property>
<!-- mycluster 下面有两个 NameNode，分别是 master，slave1 --> <property>
    <name>dfs.ha.namenodes.mycluster</name>
    <value>master,slave1</value>
</property>
<!-- master 的 RPC 通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.mycluster.master</name> 
    <value>master:8020</value>
</property>
<!-- slave1 的 RPC 通信地址 -->
<property>
    <name>dfs.namenode.rpc-address.mycluster.slave1</name>
    <value>slave1:8020</value>
</property>
<!-- master 的 http 通信地址 -->
<property>
    <name>dfs.namenode.http-address.mycluster.master</name> 
    <value>master:50070</value>
</property>
<!-- slave1 的 http 通信地址 -->
<property>
    <name>dfs.namenode.http-address.mycluster.slave1</name> 
    <value>slave1:50070</value>
</property>
<!-- 指定 NameNode 的 edits 元数据的共享存储位置。也就是 JournalNode 列表该 url 的配置格式：qjournal://host1:port1;host2:port2;host3:port3/journalId journalId 推荐使用 nameservice，默认端口号是：8485 -->
<property>
    <name>dfs.namenode.shared.edits.dir</name>
   <value>qjournal://master:8485;slave1:8485;slave2:8485/mycluster</value>
</property>
<!-- 配置失败自动切换实现方式 -->
<property>
    <name>dfs.client.failover.proxy.provider.mycluster</name>
   <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
</property>
<!-- 配置隔离机制方法，多个机制用换行分割，即每个机制暂用一行 -->
<property>
    <name>dfs.ha.fencing.methods</name>
    <value>
        sshfence
        shell(/bin/true)
    </value>
</property>
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>
<property>
    <name>dfs.support.append</name>
    <value>true</value>
</property>
<!-- 使用 sshfence 隔离机制时需要 ssh 免登陆 --> 
<property>
    <name>dfs.ha.fencing.ssh.private-key-files</name>
    <value>/root/.ssh/id_rsa</value>
</property>
<!-- 指定副本数 -->
<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>
<property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/src/hadoop/tmp/hdfs/nn</value>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
    <value>/usr/local/src/hadoop/tmp/hdfs/dn</value>
</property>
<!-- 指定 JournalNode 在本地磁盘存放数据的位置 -->
<property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/usr/local/src/hadoop/tmp/hdfs/jn</value>
</property>
<!-- 开启 NameNode 失败自动切换 -->
<property>
    <name>dfs.ha.automatic-failover.enabled</name>
    <value>true</value>
</property>
<!-- 启用 webhdfs -->
<property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>
<!-- 配置 sshfence 隔离机制超时时间 -->
<property>
    <name>dfs.ha.fencing.ssh.connect-timeout</name>
    <value>30000</value>
</property>
<property>
    <name>ha.failover-controller.cli-check.rpc-timeout.ms</name>
    <value>60000</value>
</property>

Answer 1

引自免费微信小程序：皆我百晓生

要将主机名 "master" 改为 "caopenghai"，您只需更新 hadoop-site.xml 文件中的对应项即可。下面是修改后的文件内容：

# hdfs-site.xml
<hadoop-site.xml>
  <!-- 增加主机名 caopenghai -->
  <property>
    <name>fs.defaultFS</name>
    <value>hadoop01:hadoop01</value>
  </property>

  <!-- 修改 master 主节点的名称为 caopenghai -->
  <property>
    <name>dfs.nameservices</name>
    <value>caopenghai</value>
  </property>

  <!-- 修改 master 主节点的 rpc 地址 -->
  <property>
    <name>dfs.namenode.rpc-address.caopenghai.master</name>
    <value>caopenghai:8020</value>
  </property>

  <!-- 修改 master 主节点的 http 地址 -->
  <property>
    <name>dfs.namenode.http-address.caopenghai.master</name>
    <value>caopenghai:50070</value>
  </property>

  <!-- 修改 master 主节点的 shared-edits 目录 -->
  <property>
    <name>dfs.namenode.shared.edits.dir</name>
    <value>qjournal://caopenghai:8485</value>
  </property>

  <!-- 修改 master 主节点的 failover proxy 提供者 -->
  <property>
    <name>dfs.client.failover.proxy.provider.caopenghai</name>
    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>

  <!-- 修改隔离机制配置 -->
  <property>
    <name>dfs.ha.fencing.methods</name>
    <value>
      sshfence
      shell(/bin/false) # 添加 shell(false) 来禁用隔离机制
    </value>
  </property>

  <!-- 修改副本数配置 -->
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>

  <!-- 修改日志位置配置 -->
  <property>
    <name>dfs.log.dir</name>
    <value>/usr/local/src/hadoop/log/caopenghai</value>
  </property>

  <!-- 修改默认数据目录 -->
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/src/hadoop/tmp/hdfs/dn</value>
  </property>

  <!-- 修改 journalnode 日志位置配置 -->
  <property>
    <name>dfs.journalnode.edits.dir</name>
    <value>/usr/local/src/hadoop/tmp/hdfs/jn</value>
  </property>

  <!-- 修改 webhdfs 端口 -->
  <property>
    <name>dfs.webhdfs.port</name>
    <value>8021</value>
  </property>

  <!-- 修改 webhdfs 端口 -->
  <property>
    <name>dfs.webhdfs.address</name>
    <value>http://localhost:8021</value>
  </property>
</hadoop-site.xml>

注意：这个配置文件已经包含了所有需要更改的部分，无需再次进行更改。如果您正在尝试部署 HDFS，建议您查看 Hadoop 官方文档以获取更详细的指导。