storm配置后启动nimbus后查看日志报错

[WARN] Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
java.net.NoRouteToHostException: 没有到主机的路由
at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) ~[na:1.7.0_45]
at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:735) ~[na:1.7.0_45]
at org.apache.storm.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361) ~[storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081) ~[storm-core-0.9.5.jar:0.9.5]
2016-05-07T12:51:58.640+0800 o.a.s.c.ConnectionState [ERROR] Connection timed out for connection string (itsm-app-006:2181,itsm-app-007:2181,itsm-app-008:2181) and timeout (15000) / elapsed (
15040)
org.apache.storm.curator.CuratorConnectionLossException: KeeperErrorCode = ConnectionLoss
at org.apache.storm.curator.ConnectionState.checkTimeouts(ConnectionState.java:198) [storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.curator.ConnectionState.getZooKeeper(ConnectionState.java:88) [storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.curator.CuratorZookeeperClient.getZooKeeper(CuratorZookeeperClient.java:115) [storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.curator.framework.imps.CuratorFrameworkImpl.getZooKeeper(CuratorFrameworkImpl.java:488) [storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.curator.framework.imps.ExistsBuilderImpl$2.call(ExistsBuilderImpl.java:172) [storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.curator.framework.imps.ExistsBuilderImpl$2.call(ExistsBuilderImpl.java:161) [storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.curator.RetryLoop.callWithRetry(RetryLoop.java:107) [storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.curator.framework.imps.ExistsBuilderImpl.pathInForeground(ExistsBuilderImpl.java:157) [storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.curator.framework.imps.ExistsBuilderImpl.forPath(ExistsBuilderImpl.java:148) [storm-core-0.9.5.jar:0.9.5]
at org.apache.storm.curator.framework.imps.ExistsBuilderImpl.forPath(ExistsBuilderImpl.java:36) [storm-core-0.9.5.jar:0.9.5]
at backtype.storm.zookeeper$exists_node_QMARK_$fn__1826.invoke(zookeeper.clj:101) [storm-core-0.9.5.jar:0.9.5]
at backtype.storm.zookeeper$exists_node_QMARK_.invoke(zookeeper.clj:98) [storm-core-0.9.5.jar:0.9.5]
at backtype.storm.zookeeper$mkdirs.invoke(zookeeper.clj:114) [storm-core-0.9.5.jar:0.9.5]
at backtype.storm.cluster$mk_distributed_cluster_state.invoke(cluster.clj:43) [storm-core-0.9.5.jar:0.9.5]
at backtype.storm.cluster$mk_storm_cluster_state.invoke(cluster.clj:238) [storm-core-0.9.5.jar:0.9.5]
at backtype.storm.daemon.nimbus$nimbus_data.invoke(nimbus.clj:67) [storm-core-0.9.5.jar:0.9.5]
at backtype.storm.daemon.nimbus$fn__3724$exec_fn__1103__auto____3725.invoke(nimbus.clj:898) [storm-core-0.9.5.jar:0.9.5]
at clojure.lang.AFn.applyToHelper(AFn.java:163) [clojure-1.5.1.jar:na]
at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na]
at clojure.core$apply.invoke(core.clj:617) [clojure-1.5.1.jar:na]
at backtype.storm.daemon.nimbus$fn__3724$service_handler__3814.doInvoke(nimbus.clj:895) [storm-core-0.9.5.jar:0.9.5]
at clojure.lang.RestFn.invoke(RestFn.java:421) [clojure-1.5.1.jar:na]
at backtype.storm.daemon.nimbus$launch_server_BANG_.invoke(nimbus.clj:1152) [storm-core-0.9.5.jar:0.9.5]
at backtype.storm.daemon.nimbus$_launch.invoke(nimbus.clj:1184) [storm-core-0.9.5.jar:0.9.5]
at backtype.storm.daemon.nimbus$_main.invoke(nimbus.clj:1206) [storm-core-0.9.5.jar:0.9.5]
at clojure.lang.AFn.applyToHelper(AFn.java:159) [clojure-1.5.1.jar:na]
at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na]
at backtype.storm.daemon.nimbus.main(Unknown Source) [storm-core-0.9.5.jar:0.9.5]
配置文件为(主控节点和其他节点配置文件一致):
storm.zookeeper.servers:
- "itsm-app-006"
- "itsm-app-007"
- "itsm-app-008"

storm.zookeeper.port: 2181

storm.zookeeper.root: "/storm"

nimbus.host: "itsm-app-006"

nimbus.thrift.port: 16627

storm.local.dir: "/itsm/storm/applog/data"

ui.port: 18181

supervisor.slots.ports:
- 16704
- 16705
- 16706
- 16707

2
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Storm nimbus 单节点宕机的处理
一、storm nimbus 单节点问题概述 1、storm集群在生产环境部署之后,通常会是如下的结构:  从图中可以看出zookeeper和supervisor都是多节点,任意1个zookeeper节点宕机或supervisor节点宕机均不会对系统整体运行造成影响,但 nimbus和ui都是单节点 。ui的单节点对系统的稳定运行没有影响,仅提供storm-ui页面展示统计信息。但ni
Storm常见错误及处理方法
发布topologies到远程集群时,出现Nimbus host is not set异常 原因是Nimbus没有被正确启动起来,可能是storm.yaml文件没有配置,或者配置有问题。 解决方法:打开storm.yaml文件正确配置:nimbus.host: “xxx.xxx.xxx.xxx”,重启nimbus后台程序即可。 发布topologies到远程集群时,出现AlreadyAliveE
解决storm集群上的nimbus和supervisor结点无缘无故自动停止的方案
storm在生产上跑得很欢快,最近突然遇到一个问题,不知道storm是什么原因,无缘无故的自动停止了。查看日志没有任何的报错信息,包括警告信息都没有,反正就是无缘无故的shut down了。问题分析,初步我们判断应该是系统资源不足导致的,但这只是推测,因为storm集群的这些server都没有做监控,只有后面加上监控才能验证是否是因为资源问题引起的。   好吧!既然遇到问题咱们就解决问题吧...
解决storm集群找不到nimbus异常的一种新场景
网上大量的文章出现这个问题的解决办法都是 zookeeper中删除storm目录,查找防火墙端口是否开放。 参考 https://blog.csdn.net/wender/article/details/79086442 今天碰到了一种新情况,用了以上方法均无效。 在 /etc/hosts文件中 主机名(hostname)和 localhost 都定义为 127.0.0.1. 结果造成在w...
storm启动报错及解决办法
第一个错误描述:org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts ["192.168.226.13"]. Did you specify a valid list of nimbus hosts for config nimbus.seeds? 解决
storm 常见问题解决
1. Zookeeper+ metaq-1.4.6 和storm-0.9.4 程序在eclipse 运行出现   Will not attempt to authenticate using SASL (java.lang.SecurityException: 无法定位登录配置) 使用本地模式:  LocalCluster cluster = new LocalCluster(); clu...
Storm源码细读——Nimbus启动
(defn -launch [nimbus] (launch-server! (read-storm-config) nimbus)) (defn standalone-nimbus [] (reify INimbus (prepare [this conf local-dir] ) (allSlotsAvailableForScheduling [this
storm集群搭建,nimbus后台启动时遇到的问题
Apache下搭建storm集群,nimbus后台启动时遇到的问题: Caused by: while scanning a simple key in ‘reader’, line 113, column 1: nimbus.seeds:[“hadoop102”] ^ could not found expected ‘:’ in ‘reader’, line 115, column 1: #设...
Storm启动的相关命令
在启动storm之前要确保nimbus和supervisor上的Zookeeper已经启动 (1)查看zk的状态:./zkServer.sh status (2)如果zk没有开启,将nimbus和supervisor的zk开启./zkServer.sh start(3)启动nimbus(切换到storm的bin目录下)nohup ./storm nimbus & (4)启动supervisorn
查看storm运行日志
submit日志在nimbus.log生成work命令行的日志输出在supervisor.log 程序运行时的日志在work-xxx.log 用storm jar ...将项目提交给storm集群后,想查看本项目的log信息,要到supervisor机器的:storm安装路径/logs/worker-number.log(其中的number视实际情况而定)中查看。
storm集群的配置与启动
配置  storm在conf/storm.yaml包含了一些配置信息。 storm.zookeeper.servers: - "10.16.15.6" storm.zookeeper.port: 2181 storm.local.dir: "/tmp/storm/" nimbus.host: "10.16.15.3" ui.port:
Storm启动显示有2个nimbus
一、故障现象 1.Nimbus启动之后,在WebUI中进行查看,发现有两个Nimbus,但是两个均是一台机器,一个为IP地址,一个为域名   二、原因分析 在storm配置文件中,Nimbus地址配置的是IP而非域名,Nimbus会从/etc/hosts中寻找localhost,导致出现2个nimbus   三、解决方案: 3.1 将NImbus节点、supervisor节点上的st...
Storm命令详解
在Linux终端直接输入storm,不带任何参数信息,或者输入storm help,可以查看storm命令行客户端(Command line client)提供的帮助信息。Storm 0.9.0.1版本在Linux终端直接输入storm后的输出内容如下: Commands: activate classpath deactivate dev-zookeeper drpc help jar kil
Storm任务常见问题总结
  内存泄漏[OOM] 容器类使用不当,导致对象无限增加。     线程泄漏 修复前后对比,正常情况下100-200个线程之间就足够了。  通过命令快速查看进程的线程数量   ,  ps hH p <pid> | wc -l,这个命令查看一个进程(用H选项)的线程数 for i in `ps aux | grep -v grep | grep java | aw...
storm集群 安装笔记
本文主要是参照strom的管网中的document中来进行安装,管网地址 1,首先需要安装zookeeper集群.可参考管网或网络上安装(很简单). 2,在storm的work机器上和nimbus机器上安装相关的依赖.即需安装jdk1.6+和python2.6+版本. 3,下载storm的二进制文件,我这里下载了0.93版本的. 4,解压storm的tar包到指定的目录(STORM_DIR
重启Storm时,启动Supervisor 启动后自动退出
重启Storm时,启动Supervisor 启动后自动退出在启动storm集群时,某个节点启动Supervisor 进程后后自动退出
storm启动后不打印日志,提交Topology后也不打印日志
今天遇到个问题,启动Storm集群后,logs目录下没有任何日志,提交topology任务后,任务能够正常运行,但是还是没有任何worker日志。以为是配置错了。。疯狂的找配置对比。。。发现配置没问题。。。    最后看了一下,发现是因为我copy过来的这个storm安装目录下有以前的一个测试topology的jar包。。。。然后storm启动的时候把这些包一起当做lib一起加载了。然后就造成了
storm1.x支持主节点nimbus高可用 多master集群部署
storm集群搭建 storm集群也是由主节点和从节点组成的。 storm版本的变更: storm0.9.x storm0.10.x storm1.x 前面这些版本里面storm的核心源码是由java+clojule组成的。 storm2.x 后期这个版本就是全部用java重写了。 (阿里在很早的时候就对storm进程了重写,提供了jstorm,后期jstorm也加入到apach
storm进程正常运行一段时间shut down,运维方式
storm启动一段时间后,无征兆的停止了,然后nimbus,supervisor,ui所有的worker都stop了。 我用的storm是0.8.2版本的   nimbus中留下的log如下 2014-02-19 17:05:35 nimbus [INFO] Shutting down master 2014-02-19 17:05:35 ClientCnxn [INFO]
ambari安装storm后,所有supervisor无法正常启动
ambari安装storm后,所有supervisor无法正常启动,报错如下: Error while executing command 'start': Traceback (most recent call last):   File "/usr/lib/python2.6/site-packages/resource_management/libraries/script/scr
storm日志
2016.06.24 昨天3台服务器中的1台,supervisor起不来,一直报FileNotFoundException,找不到“storm/data/supervisor/localstate/1466652445675”这个文件。 后来把storm/data/supervisor目录删除掉就好了。 这个估计是不正常关机造成的状态不一致造成的。具体原因不清楚。解决办法受这个帖子启
Storm 重启排查(续)
此文主要接 storm worker异常重启原因排查汇总 这篇文章继续描述。上文中的第三点大概描述了一下造成重启的原因,这次又有一次详细的排查过程和思路供参考。     一、背景 今天,另一个同事反应,我们的一个任务在早上4点到10点之间会有严重的数据丢失,而这个时间点与一个数据导入任务的时间点是吻合的,经查看此任务的的数据量有将近5亿。因此,在这段时间内造成的影响还是挺大的,毕竟都是...
Storm后台启动
原文:http://www.it610.com/article/1961490.htm 启动Storm的所有后台进程。和Zookeeper一样,Storm也是快速失败(fail-fast)的系统,这样Storm才能在 任意时刻被停止,并且当进程重启后被正确地恢复执行。这也是为什么Storm不在进程内保存状态的原因,即使Nimbus或Supervisors被重 启,运行中的Topologi
Storm thrift服务入坑记
利用nimbus的thrift服务,获取集群上已经提交的任务,与数据库中的配置信息对比,找出没有提交的任务,实现自动提交。 由于storm为了避免与其他版本的thrift产生冲突,自己对thrif进行了一个封装,依赖的jar包为libthrift7. ----------------------------------此为背景----------------------------------
storm日志配置
Storm中的日志级级别默认为INFO,并且,日志文件是根据worker号来进行区分的,这样,同一个log文件中的信息不一定是一个业务的,这样就会有以下两个需求出现: 1. 想要进行一些调试信息的输出 2. 调试信息或者业务日志信息想要输出到一些固定的文件中   不要怕,不要烦恼,其实Storm已经提供了这样的支持,可以通过自定义logback 下的 cluster.xml 来输出自己想...
Apache Storm技术实战之1 -- nimbus启动场景分析
1 nimbus启动场景分析 storm cluster中有以下各种进程 1. nimbus 2. zookeeper 3. supervisor 4. worker 进程之间的逻辑关系如下图所示,其中executor是运行于进程worker中的线 程用于执行spout或是bolt. 由Figure 1可以看出, Nimbus主要的工作就是用来处理thrift接口和 zookee
Storm集群环境搭建(1个nimbus+2个supervisor)
Storm是开源的一个分布式实时计算系统,用于数据的实时分析,持续计算,分布式RPC、在线机器学习、ETL等。例如,在电商购物网站购买商品时,会在网页旁边或者底端看到与自己所需要商品相关的系列商品,这就是使用类似Storm实时计算去做的。Hadoop适用于海量数据的离线数据分析,无法做到实时分析计算。Storm系统的设计保证了消息能得到快速的处理,使用ZeroMQ作为其底层消息队列。Storm有一...
storm 启动报错
storm安装包:apache-storm-1.0.3.tar.gz 解压命令:tar -zxvf apache-storm-1.0.3.tar.gz -C ~/training/配置环境变量:vi ~/.bash_profileSTORM_HOME=/root/training/apache-storm-1.0.3 export STORM_HOME PATH=$STORM_HOME/bin:...
部署storm和配置文件详解
#########安装storm######## storm_install.sh sudo ansible -i ansible_hosts elk -m copy -a "src=/letv/apache-storm-1.1.0.tar.gz dest=/letv/apache-storm-1.1.0.tar.gz " ansible -i ansible_hosts elk -m script
jstorm任务调度总结
原文链接:http://blog.chinaunix.net/uid-29038263-id-5765584.html 1 Jstorm简介       Jstorm是开源的分布式实时计算系统,相比于storm的优势在于稳定性、容错性和性能等。JStorm通过减少对zookeeper的访问量、增加反序列化线程、优化ACK、增加监控内容及JAVA本身优势等各个方面优化了Storm的性能和
Storm UI 显示字段说明
Storm ui 展示字段说明 Storm ui 首页主要分为4块: Cluster Summary,Topology summary,Supervisor summary,Nimbus Configuration,如下图所示:  Cluster Summary Version: storm 版本号 Nimbus uptime: nimbus 运行时间 Superviso...
Storm 常见问题
原文:http://weyo.me/pages/techs/storm-questions/ Storm 安装与运维问题 运行 storm 命令报错 出现语法错误: File "/home/storm/apache-storm-0.9.3/bin/storm", line 61 normclasspath = cygpath if sys.platform ==
storm集群启动/停止脚本
storm集群启动脚本    在$STORM_HOME/bin下touch start-storm-cluster.sh并chmod a+x start-storm-cluster.sh#!/bin/bash #nimbus节点 nimbusServers='mini01 mini02'#supervisor节点 supervisorServers='mini01 mini02 mini03'#启动
linux下storm安装的问题
安装storm环境报错:org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts ["192.168.241.129"]. Did you specify a valid list of nimbus hosts for config nimbus.seeds
Storm上的Nimbus、Supervisor以及Worker之间的关系
1.Storm中各节点介绍 1.1 主控节点和工作节点 Storm将每个节点分为主控节点和工作节点两种,其中主控节点只有一个,工作节点可以有多个。 1.2 Nimbus 主控节点运行Nimbus守护进程,类似于Hadoop中的jobtracker,负责在集群中分发代码,对节点分配任务,并监视主机故障。 1.3 Supervisor 每个工作节点运行Supervisor守护进程,负责监听
storm worker异常重启原因排查汇总
此时此刻,正在等到6.18的到来,趁着没事写个博客,,,   storm集群在worker down掉以后会自动启动新的woker,但是有很多情况下是感觉不应该重启的时候,woker重启了,因此就走上了排查woker重启的道路上~   一、排查思路 经过排查,主要总结有以下几种问题,会导致woker重启: 1. 代码有未捕获的异常 如下例子,因为处理的数据有异常,并且在代码中没有捕...
Storm1.0安装过程及遇到的错误处理方法
Storm1.0安装下载 org.apache.storm.utils.NimbusLeaderNotFoundException: Could not find leader nimbus from seed hosts ["127.0.0.1"]. java.io.IOException: Found multiple defaults.yaml resources
storm/jstorm 本地模式运行的时候如何设置日志级别
  使用本地模式调试storm/jstorm程序的时候,控制台输出的信息太多了,导致查问题不是很方便,可以通过修改日志级别来实现 storm 版本:0.9.7 jstorm 版本:2.1.0 storm 修改日志级别: 在resources下新建logback.xml <Loggers> </Loggers> jstorm 修改日志级别: 在resour...
storm启动命令
storm启动命令nohup ./bin/storm nimbus > /dev/null 2>&1 & nohup ./bin/storm supervisor> /dev/null 2>&1 & nohup ./bin/storm ui > /dev/null 2>&1 &
storm 的子节点机器重启后 supervisor无法启动
2016-07-27 22:32:42 o.a.c.f.s.ConnectionStateManager [INFO] State change: CONNECTED 2016-07-27 22:32:42 o.a.c.f.s.ConnectionStateManager [WARN] There are no ConnectionStateListeners registered. 2016-0
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 大数据培训后 学习java后