小白walk
2018-10-23 03:25spark submit 提交集群任务后,spark Web UI界面不显示,但是有4040界面,显示local模式
遇到如下问题,求教大神:
集群有三个节点,111为master。剩余两个为slave。每个节点 4核,6.6G。
提交命令如下
nohup bin/spark-submit --master spark://sousou:7077 --executor-memory 1g --total-executor-cores 2 --class AnalyzeInfo /spark/jar/v2_AnalyzeInfo.jar &
nohup bin/spark-submit --master spark://sousou111:7077 --executor-memory 1g --total-executor-cores 2 --class SaveInfoMain /spark/jar/saveAnn.jar &
问题如下:
1. spark submit 提交集群任务后,spark Web UI界面不显示SaveInfoMain,但是有4040界面,且查看界面Environment显示local模式。这是为什么啊?这样造成的问题是程序没有办法在界面停止。且这个程序有时候会造成处理数据异常缓慢,偶尔处理三四个小时之前的数据,AnalyzeInfo这个任务就不会产生这个问题。
2. 而且这两个任务出现的共同点是:我设置的触发HDFS上的目录下文件就优雅停止程序,刚运行时还可以,但是这两个程序运行时间长了,比如说一天后我上传到HDFS上文件,这两程序就不能成功停止了。
Environment图片如下:


- 点赞
- 回答
- 收藏
- 复制链接分享
2条回答
为你推荐
- spark-sql如何显示默认库名
- mysql
- 全文检索
- 1个回答
- 在Java web中怎么提交一个spark job任务?
- spark-client
- java
- spark
- 3个回答
- eclipse写的spark,不打jar包,如何提交到spark集群?
- eclipse
- 自动提交
- 2个回答
- spark读取不了本地文件是怎么回事
- spark
- 2个回答
- 还是昨天的Spark数据分析的问题,求代码,有帮助的可以再加C币
- 数据分析
- 图片
- 数据
- spark
- 2个回答
换一换