关于#hadoop#的问题：Hadoop运行jar包成功但输出文件没有内容

Question

基于mapreduce写的代码在idea上运行成功，但Hadoop运行其jar包成功但输出文件没有内容

Answer 1

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

问题分析： 根据问题描述，可以得知在IDEA上运行MapReduce程序成功，但是使用Hadoop运行打包好的jar包却没有输出文件，请按照以下步骤进行排查： 1.检查代码中是否有硬编码路径，是否正确。可能在本地运行时正确，但在Hadoop集群上运行时路径不正确。 2.检查Hadoop集群是否已经启动。需要确保Hadoop集群正确启动运行后才能进行MapReduce任务。 3.检查输入数据是否已经上传到Hadoop分布式文件系统中。需要确保输入数据在Hadoop分布式文件系统中，且路径正确。 4.检查输出数据的路径是否正确。需要确保输出路径在Hadoop分布式文件系统中，且路径正确。 5.检查Mapper和Reducer的实现是否正确。需要确保Mapper和Reducer的实现正确，且能够正常处理输入数据。 6.查看Hadoop集群日志文件，查找异常信息。可以查看Hadoop集群的日志文件，查找MapReduce任务的异常信息。日志文件一般在Hadoop集群的日志目录下，按照日期分文件存放。 解决方案： 1.检查代码中路径是否正确。 例如，以下代码中的路径"/input/text.txt"和"/output"就是硬编码的路径，需要根据情况修改为正确的路径。

FileInputFormat.addInputPath(job,new Path("/input/text.txt"));
FileOutputFormat.setOutputPath(job,new Path("/output"));

2.确保Hadoop集群正确启动运行。 可以使用如下命令查看Hadoop集群状态：

hdfs dfsadmin -report

3.检查输入数据是否已经上传到Hadoop分布式文件系统中。 可以使用如下命令将本地文件上传到Hadoop分布式文件系统中：

hdfs dfs -put /local/file/path /hdfs/file/path

4.检查输出数据的路径是否正确。 可以使用如下命令查看Hadoop分布式文件系统中的文件路径：

hdfs dfs -ls /path/to/hdfs/directory

5.检查Mapper和Reducer的实现是否正确。 可能是Mapper和Reducer的实现存在问题导致任务没有输出结果。可以使用如下命令查看任务的执行情况：

yarn application -list
yarn application -status <application_id>
yarn logs -applicationId <application_id>

6.查看Hadoop集群日志文件，查找异常信息。 可以使用如下命令查看Hadoop集群的日志文件：

hdfs dfs -ls /path/to/hadoop/logs

可以使用以下命令查找MapReduce任务的异常信息：

yarn logs -applicationId <application_id> | grep "Exception"

参考资料： 1. Hadoop文档：http://hadoop.apache.org/docs/stable/ 2. Hadoop MapReduce编程指南：http://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html