idea用spark-submit命令上传jar包（相关搜索：jar包）

Question

为什么spark-submit 命令提交idea中的jar包提交到YARN日志上不行，master20220322027是我主机名，但是我改过主机名了，用命令：spark-submit --master20220322027=yarn /root/spark2023-2024.jar yarn
出现了下面错误

Answer 1

引自免费微信小程序：皆我百晓生

看起来你在尝试使用spark-submit命令提交一个Spark应用到运行在YARN上的集群。但是，你提供的命令格式有误，导致了错误。

首先，让我们分析一下错误信息。你看到的错误是：

Error: Unrecognized option: --master20220322027

这个错误意味着你传递给spark-submit的参数--master20220322027没有被正确识别。原因是参数名写错了，应该是--master，后面跟着的是集群地址，例如yarn、yarn-client、yarn-cluster等。

正确的命令格式应该如下所示：

spark-submit \
    --master yarn \
    --deploy-mode client|cluster \
    --class your.main.ClassName \
    /path/to/your/jarfile.jar \
    [application arguments]

请确保你的命令符合上述格式，并且将your.main.ClassName替换为你的主类名称，/path/to/your/jarfile.jar替换为你的jar文件的实际路径。

如果你的主类在某个特定的包中，你需要提供完整的包名，比如 com.example.MainClass。

如果你的应用程序依赖其他库，你可能还需要添加--jars或--packages选项来指定这些依赖项。

例如，如果你的jar依赖另一个名为dependency.jar的外部jar，可以这样添加：

spark-submit \
    --master yarn \
    --deploy-mode client \
    --class com.example.MainClass \
    /path/to/your/jarfile.jar \
    /path/to/dependency.jar \
    [application arguments]

或者，如果你的应用程序依赖Maven库，可以使用--packages选项：

spark-submit \
    --master yarn \
    --deploy-mode client \
    --class com.example.MainClass \
    --packages groupID:artifactID:version \
    /path/to/your/jarfile.jar \
    [application arguments]

请根据实际情况修改这些参数，并重新运行命令。如果你仍然遇到问题，请检查Spark和Hadoop的配置以及环境变量设置是否正确。