Hadoop CDH通过RPM包安装后，默认日志路径在哪？如何查看日志文件？

Question

**Hadoop CDH RPM安装后默认日志路径及查看方法** 在使用RPM包安装CDH（Cloudera Distribution Including Apache Hadoop）后，用户常面临找不到默认日志路径的问题。通常，Hadoop组件的日志文件位于`/var/log/hadoop-`目录下，例如：`/var/log/hadoop-hdfs`、`/var/log/hadoop-yarn`和`/var/log/hadoop-mapreduce`。 具体查看日志文件的方法如下： 1. 登录到对应的Hadoop节点服务器。 2. 使用`cd /var/log/hadoop-*`进入相关日志目录。 3. 利用`ls`命令列出日志文件，如`hadoop-hdfs-datanode.log`或`yarn-resourcemanager.log`。 4. 使用`tail -f `实时查看日志内容。 注意：若修改了Hadoop配置文件（如`log4j.properties`），日志路径可能发生变化。建议检查配置以确认实际路径。

Answer 1

1. Hadoop CDH RPM安装后默认日志路径概述

在使用RPM包安装CDH（Cloudera Distribution Including Apache Hadoop）后，了解默认日志路径对于排查问题至关重要。以下是各Hadoop组件的日志存放位置：

• HDFS相关日志：通常位于/var/log/hadoop-hdfs。
• YARN相关日志：通常位于/var/log/hadoop-yarn。
• MapReduce相关日志：通常位于/var/log/hadoop-mapreduce。

这些路径是基于标准配置的默认值，若用户修改了log4j.properties文件，则实际路径可能有所不同。

2. 日志查看方法详解

为了有效查看日志，可以按照以下步骤操作：

1. 登录节点服务器： 使用SSH工具连接到目标Hadoop节点。
2. 进入日志目录： 例如，进入HDFS日志目录可执行cd /var/log/hadoop-hdfs。
3. 列出日志文件： 执行ls命令以查看所有日志文件，如hadoop-hdfs-datanode.log。
4. 实时查看日志： 使用tail -f logfile命令监控日志更新情况。

此外，还可以通过以下命令快速定位特定日志：

find /var/log -name "*.log" | grep hadoop

3. 配置文件对日志路径的影响分析

如果发现日志未存储在默认路径中，可能是由于log4j.properties被修改。以下是关键检查点：

配置项	作用	示例值
hadoop.root.logger	定义日志级别和输出位置	INFO,console,RFA
log4j.appender.RFA.File	指定日志文件的实际路径	/custom/path/hadoop.log

检查上述配置项可以帮助确认日志是否被重定向到其他位置。

4. 日志管理流程图

以下是日志管理的流程图，展示从日志生成到查看的整体过程：

graph TD;
            A[启动Hadoop服务] --> B{日志生成};
            B --> C[日志写入默认路径];
            C --> D[检查/var/log/hadoop-*];
            D --> E[使用tail命令实时查看];
            B --> F[检查log4j.properties];
            F --> G[确认自定义路径];

通过该流程图，用户可以更清晰地理解日志管理的逻辑顺序。