使用spark-submit提交了一个任务,spark 采用的是standalone 模式,任务提交后可以通过spark master web ui 中找到driver运行时的日志,然后到history中查看发现只有executor的日志,找不到driver的日志,提交的时候我已经指定了以下jvm参数
--driver-java-options "-Dlog4j.configuration=log4j-driver.properties"
--conf spark.executor.extraJavaOptions="-Dlog4j.configuration=log4j-executor.properties"
--files /home/spark-workspace/log4j-driver.properties,/home/hadoop/spark-workspace/log4j-executor.properties
上面这个是我在history界面截的图