Zookeeper+Hadoop+Spark+Flink+Kafka+Hbase+Hive 完全分布式高可用集群搭建(保姆级超详细含图文)
CSDN搜了不少指导了,都无法解决Hbase报错。被这个报错搞了两周了,请收下我的膝盖,一拜。
各位技术资深总监,麻烦请帮忙看下,这种报错怎么解决?
参考资料,如上链接。
一、当前服务器环境:
1、Linux环境:三台服务器:node1(主节点),node2(从节点),node3(从节点)
2、版本配置: **jdk 1.8.0_361 + Zookeeper-3.7.1 + Hadoop-3.3.4 + Hive-3.1.3 + Kafka-2.12-3.4.0 + Spark-3.2.4 **
3、Hbase安装版本: HBase-2.4.17
二、集群启动顺序:
1、以root用户权限,启动 zookeeper,正常运行;
2、命令 su - hadoop 切换 hadoop用户权限后,启动hadoop、hdfs、Yarn、Hive,正常运行;
3、切换 root用户权限,启动kafka, spark后,可以正常运行;
4、启动Hbase时,报错,无法进行。
三、zookeeper、hadoop、hbase配置文件
zookeeper、hadoop、hbase、kafka、spark的安装目录,如下图1
3.1 zookeeper配置文件 zoo.cfg ,如下图2:
3.2 hadoop配置文件 core-site.xml ,如下图3
3.3 hbase配置文件 hbase-site.xml , 如下图4
3.4 hbase 配置文件 hbase-env.sh,如下
export JAVA_HOME=/export/server/jdk
export HBASE_PID_DIR=/export/server/hbase/pids
export HBASE_MANAGES_ZK=false
四、hbase启动报错描述
4. 1 Hbase启动前,zookeeper、hadoop、hive、kafka、spark 都可以正常启动,如下图5
4.2 Hbase启动时,第1次报错,如下图6
1、我采取的解决方法,删除文件:/export/server/hadoop-3.3.4/share/hadoop/common/lib/slf4j-reload4j-1.7.36.jar
2、删除slf4j-reload4j-1.7.36.jar 文件后,这个错误不再报错,接着第2次报错。
_4.3 删除slf4j-reload4j-1.7.36.jar 文件,出现第2次报错,如下图7_
1、报错描述:start-hbase.sh执行后,可以正常启动Hbase,输入jps验证,node1节点(主节点)出现 HMaster、HRegionServer 进程;几秒后,HMaster进程就自动关闭了,如下图7
2、验证端口60010 、端口16010是否冲突,发现没有其他进程占用程度情况
3、查询日志记录
查询日志文件
/export/server/hbase/logs/hbase-root-master-node1.log
/export/server/hbase/logs/hbase-root-regionserver-node1.log
报错信息,如下图8
[root@node1 logs]# pwd
/export/server/hbase/logs
[root@node1 logs]# tail -f hbase-root-master-node1.log
2024-06-15 22:37:28,067 INFO [master/node1:16000] zookeeper.ZooKeeper: Session: 0x10000046c4c0004 closed
2024-06-15 22:37:28,067 INFO [master/node1:16000] regionserver.HRegionServer: Exiting; stopping=node1,16000,1718462243016; zookeeper connection closed.
2024-06-15 22:37:28,067 ERROR [main] master.HMasterCommandLine: Master exiting
java.lang.RuntimeException: HMaster Aborted
at org.apache.hadoop.hbase.master.HMasterCommandLine.startMaster(HMasterCommandLine.java:254)
at org.apache.hadoop.hbase.master.HMasterCommandLine.run(HMasterCommandLine.java:145)
at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:76)
at org.apache.hadoop.hbase.util.ServerCommandLine.doMain(ServerCommandLine.java:140)
at org.apache.hadoop.hbase.master.HMaster.main(HMaster.java:2963)
2024-06-15 22:37:28,067 INFO [main-EventThread] zookeeper.ClientCnxn: EventThread shut down for session: 0x10000046c4c0004
CSDN搜了不少指导了,都无法解决这个问题。各位资深技术总监,麻烦请帮忙看下,这种报错怎么解决?