Storm启动显示2个nimbus

Storm启动显示2个nimbus.日志没有报错。图片说明

2

2个回答

楼主解决了吗,这是什么问题,我也遇到这个

0

我也遇到这个问题,原因是storm去找你hosts文件里机器的名字,本机的就是localhost

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Storm启动显示有2个nimbus
一、故障现象 1.Nimbus启动之后,在WebUI中进行查看,发现有两个Nimbus,但是两个均是一台机器,一个为IP地址,一个为域名   二、原因分析 在storm配置文件中,Nimbus地址配置的是IP而非域名,Nimbus会从/etc/hosts中寻找localhost,导致出现2个nimbus   三、解决方案: 3.1 将NImbus节点、supervisor节点上的st...
Storm集群环境搭建(1个nimbus+2个supervisor)
Storm是开源的一个分布式实时计算系统,用于数据的实时分析,持续计算,分布式RPC、在线机器学习、ETL等。例如,在电商购物网站购买商品时,会在网页旁边或者底端看到与自己所需要商品相关的系列商品,这就是使用类似Storm实时计算去做的。Hadoop适用于海量数据的离线数据分析,无法做到实时分析计算。Storm系统的设计保证了消息能得到快速的处理,使用ZeroMQ作为其底层消息队列。Storm有一...
storm集群搭建,nimbus后台启动时遇到的问题
Apache下搭建storm集群,nimbus后台启动时遇到的问题: Caused by: while scanning a simple key in ‘reader’, line 113, column 1: nimbus.seeds:[“hadoop102”] ^ could not found expected ‘:’ in ‘reader’, line 115, column 1: #设...
Storm源码细读——Nimbus启动
(defn -launch [nimbus] (launch-server! (read-storm-config) nimbus)) (defn standalone-nimbus [] (reify INimbus (prepare [this conf local-dir] ) (allSlotsAvailableForScheduling [this
解决storm集群找不到nimbus异常的一种新场景
网上大量的文章出现这个问题的解决办法都是 zookeeper中删除storm目录,查找防火墙端口是否开放。 参考 https://blog.csdn.net/wender/article/details/79086442 今天碰到了一种新情况,用了以上方法均无效。 在 /etc/hosts文件中 主机名(hostname)和 localhost 都定义为 127.0.0.1. 结果造成在w...
Storm nimbus 单节点宕机的处理
一、storm nimbus 单节点问题概述 1、storm集群在生产环境部署之后,通常会是如下的结构:  从图中可以看出zookeeper和supervisor都是多节点,任意1个zookeeper节点宕机或supervisor节点宕机均不会对系统整体运行造成影响,但 nimbus和ui都是单节点 。ui的单节点对系统的稳定运行没有影响,仅提供storm-ui页面展示统计信息。但ni
storm 常见问题解决
1. Zookeeper+ metaq-1.4.6 和storm-0.9.4 程序在eclipse 运行出现   Will not attempt to authenticate using SASL (java.lang.SecurityException: 无法定位登录配置) 使用本地模式:  LocalCluster cluster = new LocalCluster(); clu...
storm集群启动/停止脚本
storm集群启动脚本    在$STORM_HOME/bin下touch start-storm-cluster.sh并chmod a+x start-storm-cluster.sh#!/bin/bash #nimbus节点 nimbusServers='mini01 mini02'#supervisor节点 supervisorServers='mini01 mini02 mini03'#启动
访问Storm ui界面,出现Nimbus Summary或Supervisor Summary时有时无的问题解决(图文详解)...
        不多说,直接上干货!     前期博客 apache-storm-0.9.6.tar.gz的集群搭建(3节点)(图文详解) apache-storm-1.0.2.tar.gz的集群搭建(3节点)(图文详解)(非HA和HA)       问题详情                  问题分析           ...
Storm上的Nimbus、Supervisor以及Worker之间的关系
1.Storm中各节点介绍 1.1 主控节点和工作节点 Storm将每个节点分为主控节点和工作节点两种,其中主控节点只有一个,工作节点可以有多个。 1.2 Nimbus 主控节点运行Nimbus守护进程,类似于Hadoop中的jobtracker,负责在集群中分发代码,对节点分配任务,并监视主机故障。 1.3 Supervisor 每个工作节点运行Supervisor守护进程,负责监听
storm启动报错及解决办法
第一个错误描述:org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts ["192.168.226.13"]. Did you specify a valid list of nimbus hosts for config nimbus.seeds? 解决
Storm启动的相关命令
在启动storm之前要确保nimbus和supervisor上的Zookeeper已经启动 (1)查看zk的状态:./zkServer.sh status (2)如果zk没有开启,将nimbus和supervisor的zk开启./zkServer.sh start(3)启动nimbus(切换到storm的bin目录下)nohup ./storm nimbus & (4)启动supervisorn
Apache Storm技术实战之1 -- nimbus启动场景分析
1 nimbus启动场景分析 storm cluster中有以下各种进程 1. nimbus 2. zookeeper 3. supervisor 4. worker 进程之间的逻辑关系如下图所示,其中executor是运行于进程worker中的线 程用于执行spout或是bolt. 由Figure 1可以看出, Nimbus主要的工作就是用来处理thrift接口和 zookee
storm启动命令
storm启动命令nohup ./bin/storm nimbus > /dev/null 2>&1 & nohup ./bin/storm supervisor> /dev/null 2>&1 & nohup ./bin/storm ui > /dev/null 2>&1 &
解决storm集群上的nimbus和supervisor结点无缘无故自动停止的方案
storm在生产上跑得很欢快,最近突然遇到一个问题,不知道storm是什么原因,无缘无故的自动停止了。查看日志没有任何的报错信息,包括警告信息都没有,反正就是无缘无故的shut down了。问题分析,初步我们判断应该是系统资源不足导致的,但这只是推测,因为storm集群的这些server都没有做监控,只有后面加上监控才能验证是否是因为资源问题引起的。   好吧!既然遇到问题咱们就解决问题吧...
重启Storm时,启动Supervisor 启动后自动退出
重启Storm时,启动Supervisor 启动后自动退出在启动storm集群时,某个节点启动Supervisor 进程后后自动退出
storm集群的配置与启动
配置  storm在conf/storm.yaml包含了一些配置信息。 storm.zookeeper.servers: - "10.16.15.6" storm.zookeeper.port: 2181 storm.local.dir: "/tmp/storm/" nimbus.host: "10.16.15.3" ui.port:
Storm后台启动
原文:http://www.it610.com/article/1961490.htm 启动Storm的所有后台进程。和Zookeeper一样,Storm也是快速失败(fail-fast)的系统,这样Storm才能在 任意时刻被停止,并且当进程重启后被正确地恢复执行。这也是为什么Storm不在进程内保存状态的原因,即使Nimbus或Supervisors被重 启,运行中的Topologi
Storm1.0安装过程及遇到的错误处理方法
Storm1.0安装下载 org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts ["127.0.0.1"]. java.io.IOException: Found multiple defaults.yaml resources
l 在nimbus.host所属的机器上启动 nimbus服务后台启动
4.5、启动集群l 在nimbus.host所属的机器上启动 nimbus服务cd /export/servers/storm/bin/nohup ./storm nimbus &l 在nimbus.host所属的机器上启动ui服务cd /export/servers/storm/bin/nohup ./storm ui &l 在其它个点击上启动supervisor服务cd /ex...
storm1.x支持主节点nimbus高可用 多master集群部署
storm集群搭建 storm集群也是由主节点和从节点组成的。 storm版本的变更: storm0.9.x storm0.10.x storm1.x 前面这些版本里面storm的核心源码是由java+clojule组成的。 storm2.x 后期这个版本就是全部用java重写了。 (阿里在很早的时候就对storm进程了重写,提供了jstorm,后期jstorm也加入到apach
storm 启动报错
storm安装包:apache-storm-1.0.3.tar.gz 解压命令:tar -zxvf apache-storm-1.0.3.tar.gz -C ~/training/配置环境变量:vi ~/.bash_profileSTORM_HOME=/root/training/apache-storm-1.0.3 export STORM_HOME PATH=$STORM_HOME/bin:...
Storm常见错误及处理方法
发布topologies到远程集群时,出现Nimbus host is not set异常 原因是Nimbus没有被正确启动起来,可能是storm.yaml文件没有配置,或者配置有问题。 解决方法:打开storm.yaml文件正确配置:nimbus.host: “xxx.xxx.xxx.xxx”,重启nimbus后台程序即可。 发布topologies到远程集群时,出现AlreadyAliveE
storm进程正常运行一段时间shut down,运维方式
storm启动一段时间后,无征兆的停止了,然后nimbus,supervisor,ui所有的worker都stop了。 我用的storm是0.8.2版本的   nimbus中留下的log如下 2014-02-19 17:05:35 nimbus [INFO] Shutting down master 2014-02-19 17:05:35 ClientCnxn [INFO]
Storm UI 显示字段说明
Storm ui 展示字段说明 Storm ui 首页主要分为4块: Cluster Summary,Topology summary,Supervisor summary,Nimbus Configuration,如下图所示:  Cluster Summary Version: storm 版本号 Nimbus uptime: nimbus 运行时间 Superviso...
Storm thrift服务入坑记
利用nimbus的thrift服务,获取集群上已经提交的任务,与数据库中的配置信息对比,找出没有提交的任务,实现自动提交。 由于storm为了避免与其他版本的thrift产生冲突,自己对thrif进行了一个封装,依赖的jar包为libthrift7. ----------------------------------此为背景----------------------------------
Storm命令详解
在Linux终端直接输入storm,不带任何参数信息,或者输入storm help,可以查看storm命令行客户端(Command line client)提供的帮助信息。Storm 0.9.0.1版本在Linux终端直接输入storm后的输出内容如下: Commands: activate classpath deactivate dev-zookeeper drpc help jar kil
storm集群 安装笔记
本文主要是参照strom的管网中的document中来进行安装,管网地址 1,首先需要安装zookeeper集群.可参考管网或网络上安装(很简单). 2,在storm的work机器上和nimbus机器上安装相关的依赖.即需安装jdk1.6+和python2.6+版本. 3,下载storm的二进制文件,我这里下载了0.93版本的. 4,解压storm的tar包到指定的目录(STORM_DIR
ambari安装storm后,所有supervisor无法正常启动
ambari安装storm后,所有supervisor无法正常启动,报错如下: Error while executing command 'start': Traceback (most recent call last):   File "/usr/lib/python2.6/site-packages/resource_management/libraries/script/scr
Storm-1.2.2介绍及完全分布式安装
目录 1  Storm是什么 2  Storm的核心概念 3  Storm原理架构 4  Storm集群安装部署 4.1  下载Storm 1.2.2 4.2  解压,更改配置文件 4.3  将配置好的节点分发到两个从节点上 5  启动storm集群及web监控 1  Storm是什么 Apache Storm是一个分布式的、可靠的、容错的实时数据流处理框架。Storm是Twi...
解决storm1.1.1集群找不到nimbus异常
各应用程序及版本 storm1.1.1zookeeper3.4.10 拓朴结构 nimbus、ui:CentOS65Appsupervisor:CentOS65M1、CentOS65M2、CentOS65M3 配置文件 zoo.cfg,zookeeper仅安装在三台supervisor服务器 server.6=CentOS65M1:2888:3888 serve
linux下storm安装的问题
安装storm环境报错:org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts ["192.168.241.129"]. Did you specify a valid list of nimbus hosts for config nimbus.seeds
Storm概念讲解和工作原理介绍
原文地址:http://www.open-open.com/lib/view/open1430095563146.html Strom的结构   Storm与传统关系型数据库      传统关系型数据库是先存后计算,而storm则是先算后存,甚至不存      传统关系型数据库很难部署实时计算,只能部署定时任务统计分析窗口数据      关系型数据库重视事务,并发控制,相对
记一次storm异常(提交topology时发生,启动均无异常)--java.net.UnknownHostException
前言 在搭建storm的生产环境集群的时候发生了一个怪事儿,主nimbus节点启动正常,无报错信息,2台supervisor启动正常,无报错信息,为了检测方便,还在主节点nimbus上启动了相应的ui。【问题来了】每当我提交topology的时候,提交拓扑时的信息没有报错,但是过了2s,查看supervisor.log时,发现两台机器都会报错,同时错误信息过后就会自己宕掉,杀掉进程。为了解决这个...
storm1.0集群部署(含HA)
Storm1.0于20160412发布,本文介绍如何进行集群部署(含nimbus ha),只需一步步操作即可完成。
Storm 常见问题
原文:http://weyo.me/pages/techs/storm-questions/ Storm 安装与运维问题 运行 storm 命令报错 出现语法错误: File "/home/storm/apache-storm-0.9.3/bin/storm", line 61 normclasspath = cygpath if sys.platform ==
Storm-1.2.2完全分布式安装
环境:zookeeper-3.4.10,ubuntu-16.0.4,jdk1.8.0_111我这里在四台机器上安装,分别是Desktop(Master),Server1,(Slave1),Server2(Slave2),Server3(Slave3)可以将Storm中的nimbus看作是Hadoop中的Master,将supervisor看作是Slave。安装Storm之前,需要先安装zookee...
storm高可用及容错性初级
在大数据处理框架中,高可用或者说容错性是很重要的。1、进程级别容错1)worker挂掉,supervisor会重启它。如果它一直重启失败导致无法发送心跳给nimbus,nimbus就会把它分配到别的机器上面2)如果一个机器挂掉了A、如果上面运行的是worker或者task:nimbus无法接收到worker或者说是task心跳。worker会把他们重新分配到别的机器上B、如果上面运行的是nimbu...
linux下无root权限,修改执行脚本启动storm的方法
报错 $ ./bin/storm nimbus Need python version > 2.6 这句话的意思是你的python版本必须大于2.6,但是我手中没有root权限,此时该如何启动呢? 修改启动脚本storm 解决方案修改启动脚本storm即可,但是前提你需要在linux下安装好python3: 看下初始的storm执行脚本文件内容: # STORM-2486:
storm如何分配任务和负载均衡?
如题.
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 storm大数据视频教程 大数据storm视频教程