flume采集日志写不进HDFS

Question

flume采集日志写不进HDFS
HDFS一直报错为什么，读不出数据

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

从您给出的描述和截图来看，您在尝试使用Apache Flume收集日志并将其写入Hadoop HDFS时遇到了问题。错误消息“Couldn't find datanode to read file from. Forbidden”表明在尝试读取HDFS中的文件时遇到了权限或Datanode相关的问题。以下是一些可能的原因和解决方案：

1. 权限问题：

   • 确保Flume连接HDFS的账户有适当的权限来创建和写入目录和文件。如果使用的是Kerberos安全，确保票据是有效的。
   • 检查HDFS的权限设置，确保Flume使用的用户有权限访问目标目录。

2. Datanode问题：

   • 检查Hadoop集群的状态，确保所有的Datanodes都是健康的并且正常运行。可以通过Hadoop的Web UI来检查Datanodes的状态。
   • 如果某个Datanode出现故障或不在服务中，那么写入操作可能会失败。尝试重新启动Datanode并检查其日志以获取更多信息。

3. Flume配置问题：

   • 检查Flume的配置文件，确保所有配置都是正确的，特别是关于HDFS的配置（例如URI，端口等）。确认是否正确配置了HDFS的Sink以及所需的路径和其他参数。
   • 检查您的Flume代理是否正常运行并且与Hadoop集群通信正常。

4. 网络问题：

   • 确保Flume所在的机器可以访问Hadoop集群，并且没有任何网络防火墙或路由问题阻止它们之间的通信。

5. 日志检查：

   • 查看Flume的日志以获取更详细的错误信息。这可能会提供关于为什么文件无法写入HDFS的更多线索。

6. 资源问题：

   • 确保Hadoop集群有足够的资源（如磁盘空间）来接收新的日志文件。如果磁盘空间不足，写入操作可能会失败。

解决上述问题后，尝试重新运行Flume并观察是否仍然出现错误。如果问题仍然存在，建议查看相关的日志文件和文档，或联系系统管理员以获取进一步的帮助。