flink on yarn 遇到 Argument list too long

Question

在进行flink on yarn 任务的时候，hdfs上有大量的jar包需要下载，yarn会报如下错误，请问有什么办法可以解决吗？flink on yarn 采用 application 模式。

Exception message: Cannot run program "bash" (in directory "/hadoop/dhadoop/hadoop-2.9.2/data/tmp/nm-local-dir/usercache/root/appcache/application_1676528338653_0002/container_1676528338653_0002_01_000001"): error=7, Argument list too long

For more detailed output, check the application tracking page: http://hadoop102:8088/cluster/app/application_1676528338653_0002 Then click on links to logs of each attempt.
. Failing the application.

个人分析，是报错的原因是由于这个，但是暂时没有找到解决的办法，希望有人可以帮助，谢谢

Answer 1

这个错误信息通常是由于运行的命令行参数过长导致的。在这种情况下，一种可能的解决方案是在命令行中使用通配符（wildcard）来代替具体的jar包列表，以减少命令行的长度。例如，使用通配符*来代替所有jar包：

flink run -m yarn-cluster -ynm "MyJob" -c com.example.MyJob ./myjob.jar -j hdfs:///path/to/jars/*

另一种解决方案是将hdfs上的jar包文件复制到本地文件系统上，然后使用本地文件系统路径代替HDFS路径，以避免yarn下载大量的jar包。例如：

hdfs dfs -copyToLocal /path/to/jars/* /tmp/flink-jars
flink run -m yarn-cluster -ynm "MyJob" -c com.example.MyJob ./myjob.jar -j /tmp/flink-jars/*

请注意，这种方法可能会占用更多的磁盘空间，因为需要将jar包复制到本地文件系统上。