小白walk 2018-10-23 03:25 采纳率: 0%
浏览 6803

spark submit 提交集群任务后,spark Web UI界面不显示,但是有4040界面,显示local模式

遇到如下问题,求教大神:
集群有三个节点,111为master。剩余两个为slave。每个节点 4核,6.6G。
提交命令如下
nohup bin/spark-submit --master spark://sousou:7077 --executor-memory 1g --total-executor-cores 2 --class AnalyzeInfo /spark/jar/v2_AnalyzeInfo.jar &

    nohup bin/spark-submit --master spark://sousou111:7077 --executor-memory 1g --total-executor-cores 2 --class SaveInfoMain /spark/jar/saveAnn.jar &

    问题如下:
            1. spark submit 提交集群任务后,spark Web UI界面不显示SaveInfoMain,但是有4040界面,且查看界面Environment显示local模式。这是为什么啊?这样造成的问题是程序没有办法在界面停止。且这个程序有时候会造成处理数据异常缓慢,偶尔处理三四个小时之前的数据,AnalyzeInfo这个任务就不会产生这个问题。
            2. 而且这两个任务出现的共同点是:我设置的触发HDFS上的目录下文件就优雅停止程序,刚运行时还可以,但是这两个程序运行时间长了,比如说一天后我上传到HDFS上文件,这两程序就不能成功停止了。

            Environment图片如下:
            ![图片说明](https://img-ask.csdn.net/upload/201810/23/1540264892_86550.png)
            ![图片说明](https://img-ask.csdn.net/upload/201810/23/1540264909_714074.png)
  • 写回答

3条回答 默认 最新

  • zqbnqsdsmd 2018-10-26 07:43
    关注
    评论

报告相同问题?

悬赏问题

  • ¥35 平滑拟合曲线该如何生成
  • ¥100 c语言,请帮蒟蒻写一个题的范例作参考
  • ¥15 名为“Product”的列已属于此 DataTable
  • ¥15 安卓adb backup备份应用数据失败
  • ¥15 eclipse运行项目时遇到的问题
  • ¥15 关于#c##的问题:最近需要用CAT工具Trados进行一些开发
  • ¥15 南大pa1 小游戏没有界面,并且报了如下错误,尝试过换显卡驱动,但是好像不行
  • ¥15 自己瞎改改,结果现在又运行不了了
  • ¥15 链式存储应该如何解决
  • ¥15 没有证书,nginx怎么反向代理到只能接受https的公网网站