dolphinscheduler3.1.9，Download resource file

Question

今天部署了一个集群 dolphinscheduler3.1.9，一切都很顺利，在发布 spark 任务时，一直提示 Download resource file（abc.jar，dolphinscheduler），我开始以为是 hdfs 权限问题，给了 777，后来又把用户组设置成 dolphinscheduler：supergroup，成功了一次，过了会再试的时候又报这个错，不知道哪里出问题了，有懂得铁子们还望不吝赐教。

Answer 1

让【道友老李】来帮你解答，本回答参考gpt编写，并整理提供，如果还有疑问可以点击头像关注私信或评论。

如果答案让您满意，请采纳、关注，非常感谢！

问题可能出在文件路径或文件内容上。首先，检查文件路径是否正确设置，并且确保集群中所有节点都可以访问该路径。其次，如果是下载资源文件失败，可能是文件本身的内容有问题。可以尝试重新上传正确的文件并再次执行任务。 案例：假设要上传一个 spark 任务所需的 jar 包文件 abc.jar，以下给出一种可能的解决方案。

1. 检查文件路径是否正确设置，并且确保所有节点都可以访问该路径：

hadoop fs -ls /path/to/abc.jar

确保该路径下的文件存在并且有权限访问。 2. 如果文件路径无误，尝试重新上传正确的文件：

hadoop fs -put local_path_to_abc.jar /path/to/abc.jar

1. 执行 spark 任务时指定正确的 jar 包路径：

spark-submit --class MainClass --master yarn --deploy-mode client hdfs:///path/to/abc.jar

通过以上步骤检查文件路径、重新上传文件并执行任务，应该可以解决下载资源文件失败的问题。如果问题仍然存在，可能需要进一步检查集群配置或日志信息以找出根本原因。