flink on yarn 提交任务，引用的其他依赖，无法生效

Question

./bin/flink run -t yarn-session -Dyarn.application.id=application_1739948324774_0016 -Dyarn.provided.lib.dirs="hdfs://cmcluster/flink/sqllib" -c com.bigdata.test /root/xm-platfrom-flinksql.jar

这个配置 -Dyarn.provided.lib.dirs="hdfs://cmcluster/flink/sqllib" 为啥没有生效呢 flink1.16

Answer 1

阿里嘎多学长整理AIGC生成，因移动端显示问题导致当前答案未能完全显示，请使用PC端查看更加详细的解答过程

问题解答

Flink on Yarn 提交任务时，引用的其他依赖无法生效可能是由于以下原因：

1. 依赖库没有被正确地添加到 classpath 中。
2. 依赖库的版本冲突。

解决方案：

1. 检查依赖库是否正确地添加到 classpath 中，可以通过以下命令来检查：

./bin/flink run -t yarn-session -Dyarn.application.id=application_1739948324774_0016 -Dyarn.provided -Dlog4j.logger=DEBUG

这将输出 Flink 的日志信息，包括 classpath 的内容。

1. 如果依赖库没有被正确地添加到 classpath 中，可以尝试使用 -cp 选项来指定依赖库的路径：

./bin/flink run -t yarn-session -Dyarn.application.id=application_1739948324774_0016 -Dyarn.provided -cp /path/to/dependency/jar

1. 如果依赖库的版本冲突，可以尝试使用 -D 选项来指定依赖库的版本：

./bin/flink run -t yarn-session -Dyarn.application.id=application_1739948324774_0016 -Dyarn.provided -Dlog4j.version=1.2.17

1. 如果以上方法都不能解决问题，可以尝试使用 Flink 的 --dependencies 选项来指定依赖库的路径和版本：

./bin/flink run -t yarn-session -Dyarn.application.id=application_1739948324774_0016 -Dyarn.provided --dependencies /path/to/dependency/jar:1.2.17

问题标签：[flink, yarn, 大数据]