mrjob模块中run.sh报错，Streaming Command Failed!

Question

在运行run.sh时，报了以下错误

ResultsStatistical.py文件

run.sh文件

Answer 1

以下内容由CHATGPT及笑面虎共同生成、有用望采纳：

---

【您想要解决的问题】： 您提问的目的是解决在使用mrjob模块运行Hadoop Streaming作业时遇到的“Streaming Command Failed!”错误。

【图片内容】：

1. 第一张图片显示了Hadoop Streaming作业的日志信息，包括警告、连接到ResourceManager的记录、以及作业的清理过程。
2. 第二张图片包含了ResultsStatistical.py Python脚本的内容，这是一个用于Hadoop MapReduce作业的mapper和reducer函数的实现。
3. 第三张图片是一个shell脚本run.sh，用于启动Hadoop Streaming作业，包含了Hadoop Streaming JAR的路径、输入路径、输出路径和mapper脚本的路径。

【问题出现原因】： 根据提供的信息，问题可能出现的原因包括：

• ResultsStatistical.py中可能存在语法错误或逻辑错误，导致mapper或reducer函数执行失败。
• run.sh脚本中的命令可能存在格式错误，例如路径指定不正确或者使用了已弃用的命令行选项。
• Hadoop环境配置问题，比如环境变量未正确设置，或者Hadoop服务存在问题。

【问题解决方案】：

1. 检查ResultsStatistical.py脚本是否有语法错误，特别是mapper和reducer函数中的代码。
2. 确保run.sh脚本中的路径正确无误，并且与您的文件系统结构相匹配。
3. 更新run.sh脚本，将已弃用的-file选项替换为-generic选项，因为-file选项在新的Hadoop版本中已被弃用。

【提供代码】： 根据第三张图片中的run.sh脚本内容，修改后的脚本可能如下所示：

#!/bin/sh
STREAM_PATH="/opt/servers/hadoop/share/hadoop/tools/lib/hadoop-streaming-3.1.3.jar"
INPUT_PATH="/root/cla.csv"
OUTPUT_PATH="/output/dataclean"
MAPPER_PATH="/root/ResultsStatistical.py"

hadoop jar $STREAM_PATH \
    -input $INPUT_PATH \
    -output $OUTPUT_PATH \
    -mapper $MAPPER_PATH

【代码运行方式】：

1. 确保您的Hadoop环境已经正确配置，包括JAVA_HOME环境变量和HADOOP_HOME。
2. 给予run.sh脚本执行权限：chmod +x run.sh
3. 在命令行中运行./run.sh来启动Hadoop Streaming作业。

【代码预期运行结果】： 如果所有问题都已解决，您应该能够看到Hadoop Streaming作业成功启动并执行，没有错误信息，最终在指定的输出路径下看到处理后的数据。

【推荐相关链接】：

• Hadoop Official Documentation
• mrjob Documentation
• Hadoop Streaming Guide