hadoop 集群时间同步?

我的hadoop集群时间同步后,为什么一段时间后又不一样了呢?
我已经把时区改为一样了,我是按下面步骤配置的,想问下大佬知道啥原因吗?
1. 修正本地时区及ntp服务
yum -y install ntp
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
/usr/sbin/ntpdate -u pool.ntp.org

  1. 自动同步时间 #添加下面一段,表示每10分钟同步一次 crontab -e */10 * * * * /usr/sbin/ntpdate -u pool.ntp.org >/dev/null 2>&1 service crond restart #重启 date #查看时间

1个回答

一、角色规划

Hadoop集群机器命名规范如下,假如有3台机器,角色混部。

ser001
ser002
ser003
1.Namenode、Resourcemanager、zkfc部署到机器名末位是1和2的两台机器;

2.JournalNode和Zookeeper部署到机器名末位是1、2、3的三台机器;

  1. Datanode、Nodemanager部署到所有节点。

4.给前三台机器分别申请两组域名:

namenode和journalnode的域名:master1.s.test.com、master2.s.test.com、master3.s.test.com

zookeeper的域名:zk1.s.test.com、zk2.s.test.com、zk3.s.test.com

二、安装部署

省略

三、启动顺序

第一步,在三台Journalnode机器上分别启动进程

$/opt/hadoop/sbin/hadoop-daemon.sh start journalnode
第二步,任选一台namenode,执行格式化命令,并启动namenode进程

$/opt/hadoop/bin/hdfs namenode -format
$/opt/hadoop/sbin/hadoop-daemon.sh start namenode
第三步,在另一台namenode机器上执行命令,进行节点信息同步,并启动

$/opt/hadoop/bin/hdfs namenode -bootstrapStandby
$/opt/hadoop/sbin/hadoop-daemon.sh start namenode
$jps
2018 JournalNode
2159 NameNode
#此时两个节点都启动了namenode,但是都是standby状态,不要停止,继续第四步。
第四步,在两台namenode上分别启动ZKFC,用于自动故障切换

#在NN1上初始化ZKFC
$ hdfs zkfc -formatZK
#分别启动两台NN的ZKFC
$ /opt/hadoop/sbin/hadoop-daemon.sh start zkfc
$ jps
20976 DFSZKFailoverController
#ZKFC启动后,再查看状态,就会有一个namenode的状态为Active
$/opt/hadoop/bin/hdfs dfsadmin -report
#如果两个都为standby状态,手动将其中一个节点设置为Active,启动ZKFC后这个已经不受控制。
#$/opt/hadoop/bin/hdfs haadmin -transitionToActive nn1
第五步,验证ZKFC切换namenode

1.测试人工切换

将主由nn1切换到nn2,一定要在主nn1上执行以下人工切换命令。

$ssh nn1
$hdfs haadmin -failover nn1 nn2
2. 测试自动切换

停掉NN1的Namenode进程,查看nn2是否为active

hdfs haadmin -getServiceState nn2
第六步,启动datanode

$/opt/hadoop/sbin/hadoop-daemon.sh start datanode
第七步,启动resourcemanager

$/opt/hadoop/sbin/yarn-daemon.sh start resourcemanager
第八步,启动nodemanager

$/opt/hadoop/sbin/hadoop-daemon.sh start datanode
$/opt/hadoop/sbin/yarn-daemon.sh start nodemanager


作者:sh_qd
来源:CSDN
原文:https://blog.csdn.net/liaynling/article/details/87113717
版权声明:本文为博主原创文章,转载请附上博文链接!

weixin_45179700
weixin_45179700 回复云里星辰:看着没有问题
7 个月之前 回复
yunLi789
云里星辰 我的是时间问题,难道还涉及到集群部署吗?你的回答是关于集群部署的啊。
7 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问

相似问题

1
用eclipse连接虚拟机hadoop集群执行MapReduce程序,但是报以下错误,请问如何解决?
2
hadoop 运行本地jar包无法读取文件。
1
hadoop集群的namenode节点无法从浏览器访问?
1
kettle 7.1版本,连接hadoop2.7.3版本,无法读取hadoop文件目录
2
hadoop初学者,集群建立成功,执行圆周率例子,出现如下错误,请大神们帮忙看下
0
hadoop + hive + tez 整合问题
1
HADOOP datanode同时三节点故障下查询BLOCK块信息
0
Win10上启动Hadoop报 Error: Could not find or load main class PC
1
hadoop集群start-yarn.sh报错,目测是jdk的原因,求指导
0
kettle8.2在连接Hadoop时,创建hadoop cluster集群配置,点击测试提示各种出错
3
有无大神帮忙看hadoop无法启动DataNode
1
请问各位大神们分布式环境下hadoop集群搭建实训报告怎么写
2
企业中现在用的hadoop版本是多少?hadoop2.x还是3.x
0
大型云端应用是否需要部署hadoop这类分布式集群
0
hadoop2.6.5集群master启动时只能启动自身作为datanode,slave节点无法控制且没有日志?
1
hadoop集群中,有一个节点Jps看不到datanode ,但在web UI上正常,这是什么 原因 怎么解决?
1
小白求助 :hadoop集群slaves上的NodeManager进程自动断
1
hadoop hive 初始化报错
1
Ambari有两种版本,一种是原生一种是hortonworks,这两种哪一个更适合用于生产环境呢?
1
Failed to retrieve data from /webhdfs/v1/?op=LISTSTATUS: Server Error,同时无法put文件到hdfs