禅蚕 2021-07-23 11:44 采纳率: 100%
浏览 30
已结题

为什么我在spark 的master 节点可以查到driver 日志,而history server 上找不到driver日志

使用spark-submit提交了一个任务,spark 采用的是standalone 模式,任务提交后可以通过spark master web ui 中找到driver运行时的日志,然后到history中查看发现只有executor的日志,找不到driver的日志,提交的时候我已经指定了以下jvm参数
--driver-java-options "-Dlog4j.configuration=log4j-driver.properties"
--conf spark.executor.extraJavaOptions="-Dlog4j.configuration=log4j-executor.properties"
--files /home/spark-workspace/log4j-driver.properties,/home/hadoop/spark-workspace/log4j-executor.properties

img
上面这个是我在history界面截的图

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 7月31日
    • 创建了问题 7月23日

    悬赏问题

    • ¥20 机器学习能否像多层线性模型一样处理嵌套数据
    • ¥20 西门子S7-Graph,S7-300,梯形图
    • ¥50 用易语言http 访问不了网页
    • ¥50 safari浏览器fetch提交数据后数据丢失问题
    • ¥15 matlab不知道怎么改,求解答!!
    • ¥15 永磁直线电机的电流环pi调不出来
    • ¥15 用stata实现聚类的代码
    • ¥15 请问paddlehub能支持移动端开发吗?在Android studio上该如何部署?
    • ¥20 docker里部署springboot项目,访问不到扬声器
    • ¥15 netty整合springboot之后自动重连失效