Embedded YARN ATS HBase 启动失败，常见原因有哪些？

Question

Embedded YARN ATS（Application Timeline Server）基于HBase的嵌入式模式启动失败，常见原因包括：1）HBase依赖JDK版本不兼容（如HBase 2.x需JDK 8+，而集群默认为JDK 11+时可能因GC参数或类加载失败）；2）`hbase.rootdir`指向本地文件系统（如`file:///...`）但未配置`hbase.cluster.distributed=false`，导致ZooKeeper连接冲突；3）ATS与HBase共享ZK时，`hbase.zookeeper.quorum`未正确定向至嵌入式ZK实例（如`localhost:2181`），或ZK端口被占用；4）HBase WAL目录权限不足或磁盘空间满；5）`yarn.timeline-service.entity-group-fs-store.group-id`配置缺失或重复，引发RegionServer初始化失败；6）Hadoop、HBase、YARN三者jar包版本不匹配（如Guava、SLF4J冲突）。建议通过`yarn --daemon start timelineserver`后检查`$HADOOP_LOG_DIR/yarn-*-timelineserver-*.log`中`Failed to start HBaseCluster`相关堆栈定位根因。

Answer 1

```html

一、现象识别：ATS嵌入式HBase启动失败的典型表征

执行 yarn --daemon start timelineserver 后，TimelineServer进程秒退或长时间卡在INITIALIZING状态；ps aux | grep timelineserver 无有效Java进程；netstat -tuln | grep 8188 显示端口未监听。核心日志路径 $HADOOP_LOG_DIR/yarn-*-timelineserver-*.log 中高频出现 Failed to start HBaseCluster、java.lang.NoClassDefFoundError: javax/xml/bind/DatatypeConverter 或 Connection refused: localhost/127.0.0.1:2181 等关键错误片段。

二、分层诊断路径：从日志到配置的六维归因模型

层级	可观测信号	根因类型	验证命令示例
① JVM层	NoClassDefFoundError（JAXB、JFR）、GC日志报错	JDK版本不兼容（HBase 2.4.x 官方仅支持 JDK 8u192+ 或 JDK 11.0.16+，禁用JDK 17+）	java -version && hbase version 2>/dev/null | grep "HBase Version"
② 配置层	Invalid configuration: hbase.rootdir=file:///... but hbase.cluster.distributed=true	hbase.cluster.distributed=false 缺失，导致嵌入式模式误启分布式ZK客户端	grep -E "(hbase\.rootdir|hbase\.cluster\.distributed)" $HBASE_CONF_DIR/hbase-site.xml

三、深度分析：嵌入式ZooKeeper与HBase协同失效机制

Embedded ATS依赖HBase MiniCluster内建ZooKeeper实例（默认绑定 localhost:2181），但若外部ZK服务已占用该端口，或 hbase.zookeeper.quorum 被错误设为集群ZK地址（如 zk1:2181,zk2:2181），将触发 org.apache.zookeeper.KeeperException$ConnectionLossException。此时HBase Master无法完成元数据初始化，RegionServer拒绝启动——这直接导致 yarn.timeline-service.entity-group-fs-store.group-id 所定义的命名空间无法注册，抛出 NamespaceExistsException 或空指针异常。

四、环境治理：权限、存储与资源硬约束检查清单

• WAL目录（默认 $HBASE_HOME/logs 或 hbase.wal.dir 指定路径）需满足：drwxr-xr-x hadoop:hadoop，且剩余空间 ≥ 5GB
• 磁盘配额检查：df -h /var/log /tmp /opt/hbase；inode可用性：df -i /tmp
• SELinux状态：getenforce 必须为 Permissive 或 Disabled，否则阻断本地socket绑定

五、依赖冲突解决：Guava/SLF4J多版本共存方案

Hadoop 3.3.x 默认含 Guava 27.0-jre，而 HBase 2.4.11 依赖 Guava 22.0，YARN ATS类加载器优先加载Hadoop的高版本Guava，引发 java.lang.NoSuchMethodError: com.google.common.base.Stopwatch.elapsed(Ljava/util/concurrent/TimeUnit;)。解决方案需双轨并行：

1. 在 $HADOOP_HOME/share/hadoop/yarn/lib/ 中移除高危jar：guava-27.0-jre.jar
2. 向 yarn-env.sh 注入隔离策略：export YARN_TIMELINESERVER_OPTS="-Xbootclasspath/p:$HBASE_HOME/lib/guava-22.0.jar"

六、自动化排障流程图（Mermaid）

flowchart TD
    A[启动 yarn --daemon start timelineserver] --> B{检查 $HADOOP_LOG_DIR/yarn-*-timelineserver-*.log}
    B -->|含 'Failed to start HBaseCluster'| C[提取首因关键词]
    C -->|javax.xml.bind| D[JDK版本校验]
    C -->|Connection refused:2181| E[ZK端口与quorum配置]
    C -->|NamespaceExistsException| F[group-id重复或缺失]
    C -->|NoClassDefFoundError| G[Guava/SLF4J冲突扫描]
    D --> H[切换至JDK 8u292或JDK 11.0.16+]
    E --> I[设置 hbase.zookeeper.quorum=localhost:2181
hbase.cluster.distributed=false]
    F --> J[确认 group-id 唯一且非空字符串]
    G --> K[执行 jar -tf guava-*.jar | grep Stopwatch]
    H --> L[重启服务]
    I --> L
    J --> L
    K --> L

七、生产级加固建议

在 hbase-site.xml 中强制锁定嵌入式行为：

<property>
  <name>hbase.cluster.distributed</name>
  <value>false</value>
  <description>Mandatory for embedded mode</description>
</property>
<property>
  <name>hbase.zookeeper.property.clientPort</name>
  <value>2182</value>
  <description>Avoid conflict with prod ZK on 2181</description>
</property>

八、验证闭环：启动后必检五项指标

1. TimelineServer Web UI 可访问：curl -I http://localhost:8188/ws/v1/timeline/ 返回 200
2. HBase Master Web UI：curl -s http://localhost:16010/status/cluster | jq '.liveRegionServers' ≥ 1
3. ZooKeeper节点验证：echo stat | nc localhost 2182 | grep Mode 输出 Mode: standalone
4. ATS实体存储健康：hbase shell -e "list_namespaces" 应含 yarn_timeline
5. GC日志无连续Full GC：grep "Full GC" $HADOOP_LOG_DIR/yarn-*-timelineserver-*.out 结果为空

```