云里星辰 2019-07-10 21:13 采纳率: 0%
浏览 616

hadoop 集群时间同步?

我的hadoop集群时间同步后,为什么一段时间后又不一样了呢?
我已经把时区改为一样了,我是按下面步骤配置的,想问下大佬知道啥原因吗?
1. 修正本地时区及ntp服务
yum -y install ntp
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
/usr/sbin/ntpdate -u pool.ntp.org

  1. 自动同步时间 #添加下面一段,表示每10分钟同步一次 crontab -e */10 * * * * /usr/sbin/ntpdate -u pool.ntp.org >/dev/null 2>&1 service crond restart #重启 date #查看时间
  • 写回答

1条回答

  • hrbhkgs 2019-07-10 23:43
    关注

    一、角色规划

    Hadoop集群机器命名规范如下,假如有3台机器,角色混部。

    ser001
    ser002
    ser003
    1.Namenode、Resourcemanager、zkfc部署到机器名末位是1和2的两台机器;

    2.JournalNode和Zookeeper部署到机器名末位是1、2、3的三台机器;

    1. Datanode、Nodemanager部署到所有节点。

    4.给前三台机器分别申请两组域名:

    namenode和journalnode的域名:master1.s.test.com、master2.s.test.com、master3.s.test.com

    zookeeper的域名:zk1.s.test.com、zk2.s.test.com、zk3.s.test.com

    二、安装部署

    省略

    三、启动顺序

    第一步,在三台Journalnode机器上分别启动进程

    $/opt/hadoop/sbin/hadoop-daemon.sh start journalnode
    第二步,任选一台namenode,执行格式化命令,并启动namenode进程

    $/opt/hadoop/bin/hdfs namenode -format
    $/opt/hadoop/sbin/hadoop-daemon.sh start namenode
    第三步,在另一台namenode机器上执行命令,进行节点信息同步,并启动

    $/opt/hadoop/bin/hdfs namenode -bootstrapStandby
    $/opt/hadoop/sbin/hadoop-daemon.sh start namenode
    $jps
    2018 JournalNode
    2159 NameNode
    #此时两个节点都启动了namenode,但是都是standby状态,不要停止,继续第四步。
    第四步,在两台namenode上分别启动ZKFC,用于自动故障切换

    #在NN1上初始化ZKFC
    $ hdfs zkfc -formatZK
    #分别启动两台NN的ZKFC
    $ /opt/hadoop/sbin/hadoop-daemon.sh start zkfc
    $ jps
    20976 DFSZKFailoverController
    #ZKFC启动后,再查看状态,就会有一个namenode的状态为Active
    $/opt/hadoop/bin/hdfs dfsadmin -report
    #如果两个都为standby状态,手动将其中一个节点设置为Active,启动ZKFC后这个已经不受控制。
    #$/opt/hadoop/bin/hdfs haadmin -transitionToActive nn1
    第五步,验证ZKFC切换namenode

    1.测试人工切换

    将主由nn1切换到nn2,一定要在主nn1上执行以下人工切换命令。

    $ssh nn1
    $hdfs haadmin -failover nn1 nn2
    2. 测试自动切换

    停掉NN1的Namenode进程,查看nn2是否为active

    hdfs haadmin -getServiceState nn2
    第六步,启动datanode

    $/opt/hadoop/sbin/hadoop-daemon.sh start datanode
    第七步,启动resourcemanager

    $/opt/hadoop/sbin/yarn-daemon.sh start resourcemanager
    第八步,启动nodemanager

    $/opt/hadoop/sbin/hadoop-daemon.sh start datanode
    $/opt/hadoop/sbin/yarn-daemon.sh start nodemanager


    作者:sh_qd
    来源:CSDN
    原文:https://blog.csdn.net/liaynling/article/details/87113717
    版权声明:本文为博主原创文章,转载请附上博文链接!

    评论

报告相同问题?

悬赏问题

  • ¥35 平滑拟合曲线该如何生成
  • ¥100 c语言,请帮蒟蒻写一个题的范例作参考
  • ¥15 名为“Product”的列已属于此 DataTable
  • ¥15 安卓adb backup备份应用数据失败
  • ¥15 eclipse运行项目时遇到的问题
  • ¥15 关于#c##的问题:最近需要用CAT工具Trados进行一些开发
  • ¥15 南大pa1 小游戏没有界面,并且报了如下错误,尝试过换显卡驱动,但是好像不行
  • ¥15 没有证书,nginx怎么反向代理到只能接受https的公网网站
  • ¥50 成都蓉城足球俱乐部小程序抢票
  • ¥15 yolov7训练自己的数据集