- spark submit 提交集群任务后，spark Web UI界面不显示，但是有4040界面，显示local模式
-
遇到如下问题，求教大神:
集群有三个节点，111为master。剩余两个为slave。每个节点 4核，6.6G。
提交命令如下
nohup bin/spark-submit --master spark://sousou:7077 --executor-memory 1g --total-executor-cores 2 --class AnalyzeInfo /spark/jar/v2_AnalyzeInfo.jar &nohup bin/spark-submit --master spark://sousou111:7077 --executor-memory 1g --total-executor-cores 2 --class SaveInfoMain /spark/jar/saveAnn.jar & 问题如下： 1. spark submit 提交集群任务后，spark Web UI界面不显示SaveInfoMain，但是有4040界面，且查看界面Environment显示local模式。这是为什么啊？这样造成的问题是程序没有办法在界面停止。且这个程序有时候会造成处理数据异常缓慢，偶尔处理三四个小时之前的数据，AnalyzeInfo这个任务就不会产生这个问题。 2. 而且这两个任务出现的共同点是：我设置的触发HDFS上的目录下文件就优雅停止程序，刚运行时还可以，但是这两个程序运行时间长了，比如说一天后我上传到HDFS上文件，这两程序就不能成功停止了。 Environment图片如下：  
- 其他相关推荐
- 程序员竟然钟爱这个！我 low了
- 今天和一帮程序员大佬群里闲聊（需要入群的可以加最底下微信哦~）聊着聊着竟然扯到鞋子一直在讨论穿什么鞋子比较耐脏然后一帮大佬集中围殴小白鞋说小白鞋虽然百搭但是太容易脏，太不...
- 程序员实用工具网站
- 目录 1、搜索引擎 2、PPT 3、图片操作 4、文件共享 5、应届生招聘 6、程序员面试题库 7、办公、开发软件 8、高清图片、视频素材网站 9、项目开源 10、算法 11、在线工具宝典大全 程序员开发需要具备良好的信息检索能力，为了备忘（收藏夹真是满了），将开发过程中常用的网站进行整理。 1、搜索引擎 1.1、秘迹搜索 一款无敌有良心、无敌安全的搜索引擎，不会收...
- 996下的程序员，该如何保证自己的身体健康？
- 作者：陈大鱼头github：KRISACHAN自从开始写代码之后，一天里大部分的时间都贡献了给了电脑跟那张从X总办公室里搬回来的人体工学椅了。鱼头也经历过无数次的 肥胖 ...
- 史上最详细的IDEA优雅整合Maven+SSM框架（详细思路+附带源码）
- 网上很多整合SSM博客文章并不能让初探ssm的同学思路完全的清晰，可以试着关掉整合教程，摇两下头骨，哈一大口气，就在万事具备的时候，开整，这个时候你可能思路全无 ~中招了咩~ ，还有一些同学依旧在使用eclipse或者Myeclipse开发，我想对这些朋友说IDEA 的编译速度很快，人生苦短，来不及解释了，直接上手idea吧。这篇文章每一步搭建过程都测试过了，应该不会有什么差错。本文章还有个比较优秀的特点，就是idea的使用，基本上关于idea的操作都算是比较详细的，所以不用太担心不会撸idea！最后，本文
- 全球最厉害的 14 位程序员！
- 来源 | ITWorld 整理自网络全球最厉害的 14 位程序员是谁？今天就让我们一起来了解一下吧，排名不分先后。01. Jon Skeet个人名望：程序技术问答网站 S...
- 我花了一夜用数据结构给女朋友写个H5走迷宫游戏
- 起因 又到深夜了，我按照以往在csdn和公众号写着数据结构！这占用了我大量的时间！我的超越妹妹严重缺乏陪伴而 怨气满满！ 而女朋友时常埋怨，认为数据结构这么抽象难懂的东西没啥作用，常会问道：天天写这玩意，有啥作用。而我答道：能干事情多了，比如写个迷宫小游戏啥的！ 当我码完字准备睡觉时：写不好别睡觉！ 分析 如果用数据结构与算法造出东西来呢？ ...
- 招人！入职阿里仅1年，我和做AI的程序员薪资翻了2倍！
- 最近在知乎上，关于AI的这个话题又被顶起来，其中，这条回答让人印象深刻：在这短短的一条信息里，无疑显示出：AI行业缺人，高端岗位80万年薪恐怕也招不来！小编上周在一个AI...
- 什么是大公司病（太形象了）
- 点击蓝色“五分钟学算法”关注我哟加个“星标”，天天中午 12:15，一起学算法作者 | 南之鱼来源 | 芝麻观点（chinamkt）所谓大企业病，一般都具有机构臃肿、多重...
- 让程序员崩溃的瞬间（非程序员勿入）
- 今天给大家带来点快乐，程序员才能看懂。 来源：https://zhuanlan.zhihu.com/p/47066521 1. 公司实习生找 Bug 2.在调试时，将断点设置在错误的位置 3.当我有一个很棒的调试想法时 4.偶然间看到自己多年前写的代码 5.当我第一次启动我的单元测试时 ...
- Spring高级技术梳理
- Spring高级技术梳理 序言正文SpringDate部分Spring全家桶之SpringData——预科阶段Spring全家桶之SpringData——Spring 整合Hibernate与Hibernate JpaSpring全家桶之SpringData——Spring Data JPASpring全家桶之SpringData——SpringData RedisSpringBoot部分Sp...
- Git 天天用 但是 Git 原理你了解吗？
- Git 原理 做技术一定要知其然知其所以然，意思就是：知道它是这样的，更知道它为什么是这样的。我主要通过4块内容来简单介绍 Git 是原理是什么样的。这4块内容如下： Git 存储目录结构介绍 Git 是如何存储的 Git 的对象 Git引用 当然 Git 原理不仅仅包含这些，想要更深入了解请查看官方教程 https://git-scm.com/book/zh/v2/。 本文内容是我在 Git...
- Android——微信自动回复实现
- 首先本文的测试微信版本是7.0.3 ，亲测可以使用。 需要实现-抓取微信自动回复消息的功能点。 一.首先打开DDMS，使用按钮。 在微信中回复一个消息 点击Stop Method Profiling。 二.查看生成的报表，观察到如下两个方法 其中1应该是发送消息的接口方法。2应该是UI层显示的方法。 三.首先分析第一个方法： 1.，可以看到，参数值是String，返...
- 分享靠写代码赚钱的一些门路
- 作者 mezod，译者 josephchang10如今，通过自己的代码去赚钱变得越来越简单，不过对很多人来说依然还是很难，因为他们不知道有哪些门路。今天给大家分享一个精彩...
- 对计算机专业来说学历真的重要吗？
- 我本科学校是渣渣二本，研究生学校是985，现在毕业五年，校招笔试、面试，社招面试参加了两年了，就我个人的经历来说下这个问题。 这篇文章很长，但绝对是精华，相信我，读完以后，你会知道学历不好的解决方案，记得帮我点赞哦。 先说结论，无论赞不赞同，它本质就是这样：对于技术类工作而言，学历五年以内非常重要，但有办法弥补。五年以后，不重要。 目录： 张雪峰讲述的事实 我看到的事实 为什么会这样 ...
- 技术人员要拿百万年薪，必须要经历这9个段位
- 很多人都问，技术人员如何成长，每个阶段又是怎样的，如何才能走出当前的迷茫，实现自我的突破。所以我结合我自己10多年的从业经验，总结了技术人员成长的9个段位，希望对大家的职...
- 8000字干货：那些很厉害的人是怎么构建知识体系的
- 本文约8000字，正常阅读需要15~20分钟。读完本文可以获得如下收益： 分辨知识和知识体系的差别 理解如何用八大问发现知识的连接点； 掌握致用类知识体系的构建方法； 能够应用甜蜜区模型找到特定领域来构建知识体系。 1. 知识体系？有必要吗？ 小张准备通过跑步锻炼身体，可因为之前听说过小腿变粗、膝盖受伤、猝死等等与跑步有关的意外状况，有点担心自己会掉进各种坑里，就在微信上问朋友圈一直晒跑步...
- 万字长文！线性代数的本质课程笔记完整合集
- 点击上方“Datawhale”，选择“星标”公众号第一时间获取价值内容系列目录1.向量究竟是什么https://www.bilibili.com/video/av5987...
- Java 网络爬虫，就是这么的简单
- 这是 Java 网络爬虫系列文章的第一篇，如果你还不知道 Java 网络爬虫系列文章，请参看 学 Java 网络爬虫，需要哪些基础知识。第一篇是关于 Java 网络爬虫入门内容，在该篇中我们以采集虎扑列表新闻的新闻标题和详情页为例，需要提取的内容如下图所示： 我们需要提取图中圈出来的文字及其对应的链接，在提取的过程中，我们会使用两种方式来提取，一种是 Jsoup 的方式，另一种是 httpcli...
- nginx学习，看这一篇就够了：下载、安装。使用：正向代理、反向代理、负载均衡。常用命令和配置文件
- 文章目录前言一、nginx简介1. 什么是 nginx 和可以做什么事情2.Nginx 作为 web 服务器3. 正向代理4. 反向代理5. 动静分离6.动静分离二、Nginx 的安装三、 Nginx 的常用命令和配置文件四、 Nginx 配置实例 1 反向代理五、 Nginx 配置实例 2 负载均衡六、 Nginx 配置实例 3 动静分离七、 Nginx 的高可用集群 前言 一、nginx简介...
- Java 爬虫遇上数据异步加载，试试这两种办法！
- 这是 Java 爬虫系列博文的第三篇，在上一篇 Java 爬虫遇到需要登录的网站，该怎么办？ 中，我们简单的讲解了爬虫时遇到登录问题的解决办法，在这篇文章中我们一起来聊一聊爬虫时遇到数据异步加载的问题，这也是爬虫中常见的问题。 现在很多都是前后端分离项目，这会使得数据异步加载问题更加突出，所以你在爬虫时遇到这类问题不必惊讶，不必慌张。对于这类问题的解决办法总体来说有以下两种： 1、内置一个浏览器内...
- Angular 入门教程系列：39：使用ng-alain进行开发
- 在前面的文章中介绍过ng-alain，当时在使用的时候还显得不是很方便，最简单的一个demo运行的都不是非常流畅。而目前的版本已经做有较大的改进，再这个基础上进行二次开发，尤其是一些后端的平台或者监控的平台看起来都比较不错。在这篇文章中继续来确认一下使用的感受。
- Angular 入门教程系列：40：使用webpack-bundle-analyzer对构建结果进行分析
- webpack-bundle-analyzer是一个npm的package，可以用于构建结果的分析。在实际的使用中，由于Angular页面的特点，项目稍大一些之后，即使使用了prod等选项进行优化，也往往编译后会有数M之大。这时使用webpack-bundle-analyzer即可对结果进行分析，可以通过webpack-bundle-analyzer生成的分析结果对各个组成部分的大小进行非常方便...