storm提交jar的时候连接错误(试了各种办法都不行)

Exception in thread "main" java.lang.RuntimeException: org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection refused: connect
at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:38)
at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:116)
at backtype.storm.StormSubmitter.submitTopology(StormSubmitter.java:70)
at storm.TopoSubmitterClient.main(TopoSubmitterClient.java:33)
Caused by: org.apache.thrift7.transport.TTransportException: java.net.ConnectException: Connection refused: connect
at org.apache.thrift7.transport.TSocket.open(TSocket.java:183)
at org.apache.thrift7.transport.TFramedTransport.open(TFramedTransport.java:81)
at backtype.storm.security.auth.SimpleTransportPlugin.connect(SimpleTransportPlugin.java:83)
at backtype.storm.security.auth.ThriftClient.(ThriftClient.java:63)
at backtype.storm.utils.NimbusClient.(NimbusClient.java:47)
at backtype.storm.utils.NimbusClient.(NimbusClient.java:43)
at backtype.storm.utils.NimbusClient.getConfiguredClient(NimbusClient.java:36)
... 3 more
Caused by: java.net.ConnectException: Connection refused: connect
at java.net.DualStackPlainSocketImpl.connect0(Native Method)
at java.net.DualStackPlainSocketImpl.socketConnect(Unknown Source)
at java.net.AbstractPlainSocketImpl.doConnect(Unknown Source)
at java.net.AbstractPlainSocketImpl.connectToAddress(Unknown Source)
at java.net.AbstractPlainSocketImpl.connect(Unknown Source)
at java.net.PlainSocketImpl.connect(Unknown Source)
at java.net.SocksSocketImpl.connect(Unknown Source)
at java.net.Socket.connect(Unknown Source)
at org.apache.thrift7.transport.TSocket.open(TSocket.java:178)

3个回答

2016-12-27T15:39:20.859+0800 b.s.m.n.Client [INFO] waiting up to 600000 ms to send 0 pending messages to Netty-Client-slave1/192.168.1.112:6700
2016-12-27T15:39:20.936+0800 b.s.m.n.Client [ERROR] connection attempt 1 to Netty-Client-slave1/192.168.1.112:6703 failed: java.net.ConnectException: 拒绝连接: slave1/192.168.1.112:6703
2016-12-27T15:39:21.099+0800 b.s.m.n.Client [ERROR] connection attempt 2 to Netty-Client-slave1/192.168.1.112:6703 failed: java.net.ConnectException: 拒绝连接: slave1/192.168.1.112:6703
2016-12-27T15:39:21.299+0800 b.s.m.n.Client [ERROR] connection attempt 3 to Netty-Client-slave1/192.168.1.112:6703 failed: java.net.ConnectException: 拒绝连接: slave1/192.168.1.112:6703
2016-12-27T15:39:21.499+0800 b.s.m.n.Client [ERROR] connection attempt 4 to Netty-Client-slave1/192.168.1.112:6703 failed: java.net.ConnectException: 拒绝连接: slave1/192.168.1.112:6703
2016-12-27T15:40:10.874+0800 b.s.m.n.Client [INFO] closing Netty Client Netty-Client-slave1/192.168.1.112:6703
2016-12-27T15:40:10.874+0800 b.s.m.n.Client [INFO] waiting up to 600000 ms to send 0 pending messages to Netty-Client-slave1/192.168.1.112:6703
2016-12-27T15:40:10.874+0800 b.s.m.n.Client [INFO] closing Netty Client Netty-Client-slave2/192.168.1.110:6703
2016-12-27T15:40:10.874+0800 b.s.m.n.Client [INFO] waiting up to 600000 ms to send 0 pending messages to Netty-Client-slave2/192.168.1.110:6703
2016-12-27T15:40:10.874+0800 b.s.m.n.Client [INFO] closing Netty Client Netty-Client-slave2/192.168.1.110:6702
2016-12-27T15:40:10.874+0800 b.s.m.n.Client [INFO] waiting up to 600000 ms to send 0 pending messages to Netty-Client-slave2/192.168.1.110:6702
2016-12-27T15:40:10.874+0800 b.s.m.n.Client [INFO] closing Netty Client Netty-Client-slave2/192.168.1.110:6701
2016-12-27T15:40:10.875+0800 b.s.m.n.Client [INFO] waiting up to 600000 ms to send 0 pending messages to Netty-Client-slave2/192.168.1.110:6701
2016-12-27T15:40:10.875+0800 b.s.m.n.Client [INFO] closing Netty Client Netty-Client-slave1/192.168.1.112:6701
2016-12-27T15:40:10.875+0800 b.s.m.n.Client [INFO] waiting up to 600000 ms to send 0 pending messages to Netty-Client-slave1/192.168.1.112:6701
2016-12-27T15:41:58.258+0800 b.s.d.worker [INFO] Shutting down worker phone-topo-1-1482824069 f6123efa-4720-490d-a1a9-1ef02184f507 6702
2016-12-27T15:41:58.259+0800 b.s.d.worker [INFO] Shutting down receive thread

各个端口都连不上。。实在不知道怎么回事。。希望有经验的人能帮我下,感激不尽

nimbus,两个supvisor都启动了

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
storm 0.10.0整合es的jar包问题
我为了让storm在服务器上启动起来把所有的log4j的jar包给exculde了,但是连接es的时候又需要log4j的jar包,我要怎么办啊
storm启动主节点和提交topology时出错 No such file or directory
运行storm nimbus时出现下面的错误,运行storm jar storm-starter-0.0.1-SNAPSHOT-jar-with-dependencies.jar storm.starter.topology时也出现下面的错误,求大神帮帮忙 fang@fang-OptiPlex-3010:/usr/local/storm-0.8.1/bin$ storm nimbus Traceback (most recent call last): File "/usr/local/storm-0.8.1/bin/storm", line 402, in <module> main() File "/usr/local/storm-0.8.1/bin/storm", line 399, in main (COMMANDS.get(COMMAND, "help"))(*ARGS) File "/usr/local/storm-0.8.1/bin/storm", line 243, in nimbus jvmopts = parse_args(confvalue("nimbus.childopts", cppaths)) + [ File "/usr/local/storm-0.8.1/bin/storm", line 58, in confvalue p = sub.Popen(command, stdout=sub.PIPE) File "/usr/lib/python2.7/subprocess.py", line 711, in __init__ errread, errwrite) File "/usr/lib/python2.7/subprocess.py", line 1308, in _execute_child raise child_exception OSError: [Errno 2] No such file or directory
kafka和storm集成是报错,找不到jar包
我使用java对kafka和storm集成开发时报错,找不到jar包,可是在网上找了好久也没有找到报错所需要的jar包,请问这是怎么回事?我用的是最土的方法,把jar包全部引入项目里的。 kafka版本是2.9.2-0.8.2.1,storm版本是0.9.7,jdk版本是1.7。 错误日志如下: 9391 [refresh-active-timer] INFO backtype.storm.daemon.worker - All connections are ready for worker 5e95c764-cf8b-4ac9-9c89-911e34720c23:1024 with id b788e814-1915-4116-87ad-1514bc9a201b 9417 [Thread-15-__system] INFO backtype.storm.daemon.executor - Preparing bolt __system:(-1) 9428 [Thread-15-__system] INFO backtype.storm.daemon.executor - Prepared bolt __system:(-1) 9437 [Thread-17-__acker] INFO backtype.storm.daemon.executor - Preparing bolt __acker:(1) 9440 [Thread-17-__acker] INFO backtype.storm.daemon.executor - Prepared bolt __acker:(1) 9457 [Thread-11-kafkabolt] INFO backtype.storm.daemon.executor - Preparing bolt kafkabolt:(3) 9465 [Thread-9-bolt] INFO backtype.storm.daemon.executor - Preparing bolt bolt:(2) 9465 [Thread-9-bolt] INFO backtype.storm.daemon.executor - Prepared bolt bolt:(2) 9480 [Thread-13-spout] INFO backtype.storm.daemon.executor - Opening spout spout:(4) 9484 [Thread-13-spout] ERROR backtype.storm.util - Async loop died! java.lang.NoClassDefFoundError: com/netflix/curator/RetryPolicy at storm.kafka.KafkaSpout.open(KafkaSpout.java:68) ~[storm-kafka.jar:na] at backtype.storm.daemon.executor$fn__3371$fn__3386.invoke(executor.clj:529) ~[storm-core-0.9.7.jar:0.9.7] at backtype.storm.util$async_loop$fn__460.invoke(util.clj:461) ~[storm-core-0.9.7.jar:0.9.7] at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na] at java.lang.Thread.run(Unknown Source) [na:1.7.0_17] Caused by: java.lang.ClassNotFoundException: com.netflix.curator.RetryPolicy at java.net.URLClassLoader$1.run(Unknown Source) ~[na:1.7.0_17] at java.net.URLClassLoader$1.run(Unknown Source) ~[na:1.7.0_17] at java.security.AccessController.doPrivileged(Native Method) ~[na:1.7.0_17] at java.net.URLClassLoader.findClass(Unknown Source) ~[na:1.7.0_17] at java.lang.ClassLoader.loadClass(Unknown Source) ~[na:1.7.0_17] at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source) ~[na:1.7.0_17] at java.lang.ClassLoader.loadClass(Unknown Source) ~[na:1.7.0_17] ... 5 common frames omitted 9485 [Thread-13-spout] ERROR backtype.storm.daemon.executor - java.lang.NoClassDefFoundError: com/netflix/curator/RetryPolicy at storm.kafka.KafkaSpout.open(KafkaSpout.java:68) ~[storm-kafka.jar:na] at backtype.storm.daemon.executor$fn__3371$fn__3386.invoke(executor.clj:529) ~[storm-core-0.9.7.jar:0.9.7] at backtype.storm.util$async_loop$fn__460.invoke(util.clj:461) ~[storm-core-0.9.7.jar:0.9.7] at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na] at java.lang.Thread.run(Unknown Source) [na:1.7.0_17] Caused by: java.lang.ClassNotFoundException: com.netflix.curator.RetryPolicy at java.net.URLClassLoader$1.run(Unknown Source) ~[na:1.7.0_17] at java.net.URLClassLoader$1.run(Unknown Source) ~[na:1.7.0_17] at java.security.AccessController.doPrivileged(Native Method) ~[na:1.7.0_17] at java.net.URLClassLoader.findClass(Unknown Source) ~[na:1.7.0_17] at java.lang.ClassLoader.loadClass(Unknown Source) ~[na:1.7.0_17] at sun.misc.Launcher$AppClassLoader.loadClass(Unknown Source) ~[na:1.7.0_17] at java.lang.ClassLoader.loadClass(Unknown Source) ~[na:1.7.0_17] ... 5 common frames omitted 9725 [Thread-11-kafkabolt] INFO backtype.storm.daemon.executor - Prepared bolt kafkabolt:(3) 9885 [Thread-13-spout] ERROR backtype.storm.util - Halting process: ("Worker died") java.lang.RuntimeException: ("Worker died") at backtype.storm.util$exit_process_BANG_.doInvoke(util.clj:325) [storm-core-0.9.7.jar:0.9.7] at clojure.lang.RestFn.invoke(RestFn.java:423) [clojure-1.5.1.jar:na] at backtype.storm.daemon.worker$fn__4694$fn__4695.invoke(worker.clj:495) [storm-core-0.9.7.jar:0.9.7] at backtype.storm.daemon.executor$mk_executor_data$fn__3272$fn__3273.invoke(executor.clj:241) [storm-core-0.9.7.jar:0.9.7] at backtype.storm.util$async_loop$fn__460.invoke(util.clj:473) [storm-core-0.9.7.jar:0.9.7] at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na] at java.lang.Thread.run(Unknown Source) [na:1.7.0_17]
Storm 0.10.0 storm写es会出现大量的netty连接失败的Error
WARNING: An exception was thrown by TimerTask. java.lang.RuntimeException: Giving up to scheduleConnect to Netty-Client-wyzjd02/172.18.2.5:6704 after 41 failed attempts. 221 messages were lost at backtype.storm.messaging.netty.Client$Connect.run(Client.java:511) at org.apache.storm.shade.org.jboss.netty.util.HashedWheelTimer$HashedWheelTimeout.expire(HashedWheelTimer.java:546) at org.apache.storm.shade.org.jboss.netty.util.HashedWheelTimer$Worker.notifyExpiredTimeouts(HashedWheelTimer.java:446) at org.apache.storm.shade.org.jboss.netty.util.HashedWheelTimer$Worker.run(HashedWheelTimer.java:395) at org.apache.storm.shade.org.jboss.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108) at java.lang.Thread.run(Thread.java:745) 2016-09-07 10:16:40.260 b.s.m.n.Client [ERROR] connection attempt 2 to Netty-Client-wyfx03/172.18.2.3:6700 failed: java.net.ConnectException: Connection refused: wyfx03/172.18.2.3:6700 2016-09-07 10:16:40.461 b.s.m.n.Client [ERROR] connection attempt 3 to Netty-Client-wyfx03/172.18.2.3:6700 failed: java.net.ConnectException: Connection refused: wyfx03/172.18.2.3:6700 2016-09-07 10:16:40.661 b.s.m.n.Client [ERROR] connection attempt 4 to Netty-Client-wyfx03/172.18.2.3:6700 failed: java.net.ConnectException: Connection refused: wyfx03/172.18.2.3:6700 2016-09-07 10:16:40.860 b.s.m.n.Client [ERROR] connection attempt 5 to Netty-Client-wyfx03/172.18.2.3:6700 failed: java.net.ConnectException: Connection refused: wyfx03/172.18.2.3:6700 2016-09-07 10:16:41.061 b.s.m.n.Client [ERROR] connection attempt 6 to Netty-Client-wyfx03/172.18.2.3:6700 failed: java.net.ConnectException: Connection refused: wyfx03/172.18.2.3:6700 2016-09-07 10:16:41.361 b.s.m.n.Client [ERROR] connection attempt 7 to Netty-Client-wyfx03/172.18.2.3:6700 failed: java.net.ConnectException: Connection refused: wyfx03/172.18.2.3:6700 2016-09-07 10:16:41.660 b.s.m.n.Client [ERROR] connection attempt 8 to Netty-Client-wyfx03/172.18.2.3:6700 failed: java.net.ConnectException: Connection refused: wyfx03/172.18.2.3:6700 2016-09-07 10:16:42.060 b.s.m.n.Client [ERROR] connection attempt 9 to Netty-Client-wyfx03/172.18.2.3:6700 failed: java.net.ConnectException: Connection refused: wyfx03/172.18.2.3:6700 2016-09-07 10:16:42.463 b.s.m.n.Client [ERROR] connection attempt 10 to Netty-Client-wyfx03/172.18.2.3:6700 failed: java.net.ConnectException: Connection refused: wyfx03/172.18.2.3:6700 2016-09-07 10:16:35.559 b.s.m.n.StormClientHandler [INFO] Connection failed Netty-Client-wyzjd02/172.18.2.5:6704 java.io.IOException: Connection reset by peer at sun.nio.ch.FileDispatcherImpl.read0(Native Method) ~[?:1.7.0_80] at sun.nio.ch.SocketDispatcher.read(SocketDispatcher.java:39) ~[?:1.7.0_80] at sun.nio.ch.IOUtil.readIntoNativeBuffer(IOUtil.java:223) ~[?:1.7.0_80] at sun.nio.ch.IOUtil.read(IOUtil.java:192) ~[?:1.7.0_80] at sun.nio.ch.SocketChannelImpl.read(SocketChannelImpl.java:384) ~[?:1.7.0_80] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.NioWorker.read(NioWorker.java:64) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.AbstractNioWorker.process(AbstractNioWorker.java:108) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:318) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.AbstractNioWorker.run(AbstractNioWorker.java:89) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:178) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42) [storm-core-0.10.0.jar:0.10.0] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) [?:1.7.0_80] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) [?:1.7.0_80] at java.lang.Thread.run(Thread.java:745) [?:1.7.0_80] 2016-09-07 10:16:35.560 b.s.m.n.Client [ERROR] failed to send 1 messages to Netty-Client-wyzjd02/172.18.2.5:6704: java.nio.channels.ClosedChannelException 2016-09-07 10:16:35.561 b.s.m.n.Client [ERROR] failed to send 1 messages to Netty-Client-wyzjd02/172.18.2.5:6704: java.nio.channels.ClosedChannelException 2016-09-07 10:16:35.561 b.s.m.n.Client [ERROR] failed to send 1 messages to Netty-Client-wyzjd02/172.18.2.5:6704: java.nio.channels.ClosedChannelException 2016-09-07 10:16:35.561 b.s.m.n.Client [ERROR] failed to send 1 messages to Netty-Client-wyzjd02/172.18.2.5:6704: java.nio.channels.ClosedChannelException 2016-09-07 10:16:35.561 b.s.m.n.StormClientHandler [INFO] Connection failed Netty-Client-wyzjd02/172.18.2.5:6704 java.nio.channels.ClosedChannelException at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.AbstractNioWorker.cleanUpWriteBuffer(AbstractNioWorker.java:433) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.AbstractNioWorker.close(AbstractNioWorker.java:373) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.NioWorker.read(NioWorker.java:93) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.AbstractNioWorker.process(AbstractNioWorker.java:108) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.AbstractNioSelector.run(AbstractNioSelector.java:318) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.AbstractNioWorker.run(AbstractNioWorker.java:89) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.NioWorker.run(NioWorker.java:178) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108) [storm-core-0.10.0.jar:0.10.0] at org.apache.storm.shade.org.jboss.netty.util.internal.DeadLockProofWorker$1.run(DeadLockProofWorker.java:42) [storm-core-0.10.0.jar:0.10.0] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145) [?:1.7.0_80] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615) [?:1.7.0_80] at java.lang.Thread.run(Thread.java:745) [?:1.7.0_80] 2016-09-07 10:16:35.660 b.s.m.n.Client [ERROR] connection attempt 33 to Netty-Client-wyzjd02/172.18.2.5:6704 failed: java.net.ConnectException: Connection refused: wyzjd02/172.18.2.5:6704 2016-09-07 10:16:36.160 b.s.m.n.Client [ERROR] connection attempt 34 to Netty-Client-wyzjd02/172.18.2.5:6704 failed: java.net.ConnectException: Connection refused: wyzjd02/172.18.2.5:6704 2016-09-07 10:16:36.661 b.s.m.n.Client [ERROR] connection attempt 35 to Netty-Client-wyzjd02/172.18.2.5:6704 failed: java.net.ConnectException: Connection refused: wyzjd02/172.18.2.5:6704 2016-09-07 10:16:37.160 b.s.m.n.Client [ERROR] connection attempt 36 to Netty-Client-wyzjd02/172.18.2.5:6704 failed: java.net.ConnectException: Connection refused: wyzjd02/172.18.2.5:6704 2016-09-07 10:16:37.661 b.s.m.n.Client [ERROR] connection attempt 37 to Netty-Client-wyzjd02/172.18.2.5:6704 failed: java.net.ConnectException: Connection refused: wyzjd02/172.18.2.5:6704
关于storm集群最终结果保存的问题
这两天一直在玩storm,网上的例子也看了好多,在本地运行起来了,可是一旦切换到集群环境,所有的写操作都无法完成,无论是通过socket还是文件读写还是数据库读写,到最后提交到集群后,运行起来都会出现 filename not matched: resources/** kill 10936: 没有那个进程 这样的错误,我知道提交到集群环境后由于写操作不在一个节点上了,所以难免会出现问题,但是网上都没有针对数据持久化的例子,所以想请教storm最后的数据怎么保存下来。
storm eclipse本地启动错误
代码很简单,只有一个spout和一个bolt。。。在eclipse上进行测试的...启动报错 java.net.SocketException: Address family not supported by protocol family: connect at sun.nio.ch.Net.connect(Native Method) at sun.nio.ch.SocketChannelImpl.connect(Unknown Source) at org.apache.zookeeper.ClientCnxn$SendThread.startConnect(ClientCnxn.java:1050) at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1077) java.io.IOException: Unable to delete file: C:\Users\ADMINI~1\AppData\Local\Temp\f50d3122-2e10-4447-aba2-cd7c4c340458\version-2\log.1 at org.apache.commons.io.FileUtils.forceDelete(FileUtils.java:1390) at org.apache.commons.io.FileUtils.cleanDirectory(FileUtils.java:1044) at org.apache.commons.io.FileUtils.deleteDirectory(FileUtils.java:977) at org.apache.commons.io.FileUtils.forceDelete(FileUtils.java:1381) at org.apache.commons.io.FileUtils.cleanDirectory(FileUtils.java:1044) at org.apache.commons.io.FileUtils.deleteDirectory(FileUtils.java:977) at org.apache.commons.io.FileUtils.forceDelete(FileUtils.java:1381) at backtype.storm.util$rmr.invoke(util.clj:413) at backtype.storm.testing$kill_local_storm_cluster.invoke(testing.clj:164) at backtype.storm.LocalCluster$_shutdown.invoke(LocalCluster.clj:32) at backtype.storm.LocalCluster.shutdown(Unknown Source) at storm.TestTopology.main(TestTopology.java:26)
storm提示connection attempt to Netty-Client-ubuntu1
当我提交任务给storm时,发现2台supervisor中对应的日志输出都如下,请问如何解决: connection attempt 367 to Netty-Client-ubuntu1:6704 failed: java.nio.channels.UnresolvedAddressException b.s.m.n.StormClientHandler [INFO] Connection failed Netty-Client-ubuntu1:6704 java.nio.channels.UnresolvedAddressException at sun.nio.ch.Net.checkAddress(Net.java:101) ~[?:1.8.0_121] at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:622) ~[?:1.8.0_121] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.NioClientSocketPipelineSink.connect(NioClientSocketPipelineSink.java:108) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.channel.socket.nio.NioClientSocketPipelineSink.eventSunk(NioClientSocketPipelineSink.java:70) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.channel.DefaultChannelPipeline$DefaultChannelHandlerContext.sendDownstream(DefaultChannelPipeline.java:779) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.handler.codec.oneone.OneToOneEncoder.handleDownstream(OneToOneEncoder.java:54) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.channel.DefaultChannelPipeline.sendDownstream(DefaultChannelPipeline.java:591) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.channel.DefaultChannelPipeline.sendDownstream(DefaultChannelPipeline.java:582) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.channel.Channels.connect(Channels.java:634) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.channel.AbstractChannel.connect(AbstractChannel.java:207) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.bootstrap.ClientBootstrap.connect(ClientBootstrap.java:229) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.bootstrap.ClientBootstrap.connect(ClientBootstrap.java:182) [storm-core-0.10.2.jar:0.10.2] at backtype.storm.messaging.netty.Client$Connect.run(Client.java:518) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.util.HashedWheelTimer$HashedWheelTimeout.expire(HashedWheelTimer.java:546) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.util.HashedWheelTimer$Worker.notifyExpiredTimeouts(HashedWheelTimer.java:446) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.util.HashedWheelTimer$Worker.run(HashedWheelTimer.java:395) [storm-core-0.10.2.jar:0.10.2] at org.apache.storm.shade.org.jboss.netty.util.ThreadRenamingRunnable.run(ThreadRenamingRunnable.java:108) [storm-core-0.10.2.jar:0.10.2] at java.lang.Thread.run(Thread.java:745) [?:1.8.0_121]
eclipse提交strom到集群运行问题
正在学习storm和kafka,我的项目在本地提交已经成功运行,但是提交到集群报Must submit topologies using the 'storm' client script so that StormSubmitter knows which jar to upload. 这个错误是什么原因,网上百度都是建立在maven基础上的我没有学过maven,是需要配置什么参数吗?
storm集群nimbus连接不上supervisor
Ubuntu12.04系统,使用0.9.3版的storm 通过单独的终端,启动:主机的nimbus和ui,2台从机上的supervisor,但在ui的网页上,supervisor summary的数量是0。
storm提交topo时serialVersionUID报错
如下图,换了版本也是一样,我代码的jar跟集群的jar是一样的,q1246419281,求救啊! ![![图片说明](https://img-ask.csdn.net/upload/201604/12/1460449189_112732.jpg)图片说明](https://img-ask.csdn.net/upload/201604/12/1460449169_478827.jpg)
使用pyleus向本地提交jar包出现以下警告且在UI界面无法看到topology成功提交
560680 [main-SendThread(localhost:2002)] INFO org.apache.storm.zookeeper.ClientCnxn - Session establishment complete on server localhost/127.0.0.1:2002, sessionid = 0x15415616aab000e, negotiated timeout = 20000 560681 [main-EventThread] INFO org.apache.storm.curator.framework.state.ConnectionStateManager - State change: RECONNECTED 560681 [main-SendThread(localhost:2002)] INFO org.apache.storm.zookeeper.ClientCnxn - Session establishment complete on server localhost/0:0:0:0:0:0:0:1:2002, sessionid = 0x15415616aab000f, negotiated timeout = 20000 560681 [main-EventThread] INFO org.apache.storm.curator.framework.state.ConnectionStateManager - State change: RECONNECTED 703453 [SyncThread:0] WARN org.apache.storm.zookeeper.server.persistence.FileTxnLog - fsync-ing the write ahead log in SyncThread:0 took 1246ms which will adversely effect operation latency. See the ZooKeeper troubleshooting guide 719114 [SyncThread:0] WARN org.apache.storm.zookeeper.server.persistence.FileTxnLog - fsync-ing the write ahead log in SyncThread:0 took 1506ms which will adversely effect operation latency. See the ZooKeeper troubleshooting guide 该怎么解决?
spark与storm的区别,为什么这么多人用spark而不用storm
spark与storm的区别,为什么这么多人用spark而不用storm。
storm配置后启动nimbus后查看日志报错
[WARN] Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect java.net.NoRouteToHostException: 没有到主机的路由 at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) ~[na:1.7.0_45] at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:735) ~[na:1.7.0_45] at org.apache.storm.zookeeper.ClientCnxnSocketNIO.doTransport(ClientCnxnSocketNIO.java:361) ~[storm-core-0.9.5.jar:0.9.5] at org.apache.storm.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:1081) ~[storm-core-0.9.5.jar:0.9.5] 2016-05-07T12:51:58.640+0800 o.a.s.c.ConnectionState [ERROR] Connection timed out for connection string (itsm-app-006:2181,itsm-app-007:2181,itsm-app-008:2181) and timeout (15000) / elapsed ( 15040) org.apache.storm.curator.CuratorConnectionLossException: KeeperErrorCode = ConnectionLoss at org.apache.storm.curator.ConnectionState.checkTimeouts(ConnectionState.java:198) [storm-core-0.9.5.jar:0.9.5] at org.apache.storm.curator.ConnectionState.getZooKeeper(ConnectionState.java:88) [storm-core-0.9.5.jar:0.9.5] at org.apache.storm.curator.CuratorZookeeperClient.getZooKeeper(CuratorZookeeperClient.java:115) [storm-core-0.9.5.jar:0.9.5] at org.apache.storm.curator.framework.imps.CuratorFrameworkImpl.getZooKeeper(CuratorFrameworkImpl.java:488) [storm-core-0.9.5.jar:0.9.5] at org.apache.storm.curator.framework.imps.ExistsBuilderImpl$2.call(ExistsBuilderImpl.java:172) [storm-core-0.9.5.jar:0.9.5] at org.apache.storm.curator.framework.imps.ExistsBuilderImpl$2.call(ExistsBuilderImpl.java:161) [storm-core-0.9.5.jar:0.9.5] at org.apache.storm.curator.RetryLoop.callWithRetry(RetryLoop.java:107) [storm-core-0.9.5.jar:0.9.5] at org.apache.storm.curator.framework.imps.ExistsBuilderImpl.pathInForeground(ExistsBuilderImpl.java:157) [storm-core-0.9.5.jar:0.9.5] at org.apache.storm.curator.framework.imps.ExistsBuilderImpl.forPath(ExistsBuilderImpl.java:148) [storm-core-0.9.5.jar:0.9.5] at org.apache.storm.curator.framework.imps.ExistsBuilderImpl.forPath(ExistsBuilderImpl.java:36) [storm-core-0.9.5.jar:0.9.5] at backtype.storm.zookeeper$exists_node_QMARK_$fn__1826.invoke(zookeeper.clj:101) [storm-core-0.9.5.jar:0.9.5] at backtype.storm.zookeeper$exists_node_QMARK_.invoke(zookeeper.clj:98) [storm-core-0.9.5.jar:0.9.5] at backtype.storm.zookeeper$mkdirs.invoke(zookeeper.clj:114) [storm-core-0.9.5.jar:0.9.5] at backtype.storm.cluster$mk_distributed_cluster_state.invoke(cluster.clj:43) [storm-core-0.9.5.jar:0.9.5] at backtype.storm.cluster$mk_storm_cluster_state.invoke(cluster.clj:238) [storm-core-0.9.5.jar:0.9.5] at backtype.storm.daemon.nimbus$nimbus_data.invoke(nimbus.clj:67) [storm-core-0.9.5.jar:0.9.5] at backtype.storm.daemon.nimbus$fn__3724$exec_fn__1103__auto____3725.invoke(nimbus.clj:898) [storm-core-0.9.5.jar:0.9.5] at clojure.lang.AFn.applyToHelper(AFn.java:163) [clojure-1.5.1.jar:na] at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na] at clojure.core$apply.invoke(core.clj:617) [clojure-1.5.1.jar:na] at backtype.storm.daemon.nimbus$fn__3724$service_handler__3814.doInvoke(nimbus.clj:895) [storm-core-0.9.5.jar:0.9.5] at clojure.lang.RestFn.invoke(RestFn.java:421) [clojure-1.5.1.jar:na] at backtype.storm.daemon.nimbus$launch_server_BANG_.invoke(nimbus.clj:1152) [storm-core-0.9.5.jar:0.9.5] at backtype.storm.daemon.nimbus$_launch.invoke(nimbus.clj:1184) [storm-core-0.9.5.jar:0.9.5] at backtype.storm.daemon.nimbus$_main.invoke(nimbus.clj:1206) [storm-core-0.9.5.jar:0.9.5] at clojure.lang.AFn.applyToHelper(AFn.java:159) [clojure-1.5.1.jar:na] at clojure.lang.AFn.applyTo(AFn.java:151) [clojure-1.5.1.jar:na] at backtype.storm.daemon.nimbus.main(Unknown Source) [storm-core-0.9.5.jar:0.9.5] 配置文件为(主控节点和其他节点配置文件一致): storm.zookeeper.servers: - "itsm-app-006" - "itsm-app-007" - "itsm-app-008" storm.zookeeper.port: 2181 storm.zookeeper.root: "/storm" nimbus.host: "itsm-app-006" nimbus.thrift.port: 16627 storm.local.dir: "/itsm/storm/applog/data" ui.port: 18181 supervisor.slots.ports: - 16704 - 16705 - 16706 - 16707
storm kafka自动停止问题
请教个问题,为什么storm加了任务后,开始运行特别快,然后越来越慢,然后就停止了,再然后爆出kafka连接失败,然后任务停止,等一会,又启动,又是快速处理,我确认kakfa中日志根本没有读完 而且,每次重启任务的时候,offset都是从start开始读
Storm程序运行出现 Received invalid messages
异常信息: backtype.storm.daemon.worker - Received invalid messages for unknown tasks. Dropping... backtype.storm.daemon.worker - Received invalid messages for unknown tasks. Dropping... backtype.storm.daemon.worker - Received invalid messages for unknown tasks. Dropping... 2015-01-28 18:25:52 [Thread-11-worker-receiver-thread-0] WARN backtype.storm.daemon.worker - Received invalid messages for unknown tasks. Dropping... 2015-01-28 18:29:12 [Thread-12-disruptor-worker-transfer-queue] ERROR backtype.storm.util - Async loop died! java.lang.RuntimeException: java.lang.RuntimeException: Client is being closed, and does not take requests any more at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:127) ~[storm-core-0.9.3-rc1.jar:0.9.3-rc1] at backtype.storm.utils.DisruptorQueue.consumeBatchWhenAvailable(DisruptorQueue.java:96) ~[storm-core-0.9.3-rc1.jar:0.9.3-rc1] at backtype.storm.disruptor$consume_batch_when_available.invoke(disruptor.clj:81) ~[storm-core-0.9.3-rc1.jar:0.9.3-rc1] at backtype.storm.disruptor$consume_loop_STAR_$fn__1681.invoke(disruptor.clj:95) ~[storm-core-0.9.3-rc1.jar:0.9.3-rc1] at backtype.storm.util$async_loop$fn__457.invoke(util.clj:457) ~[storm-core-0.9.3-rc1.jar:0.9.3-rc1] at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na] at java.lang.Thread.run(Thread.java:662) [na:1.6.0_38] Caused by: java.lang.RuntimeException: Client is being closed, and does not take requests any more at backtype.storm.messaging.netty.Client.send(Client.java:183) ~[storm-core-0.9.3-rc1.jar:0.9.3-rc1] at backtype.storm.utils.TransferDrainer.send(TransferDrainer.java:54) ~[storm-core-0.9.3-rc1.jar:0.9.3-rc1] at backtype.storm.daemon.worker$mk_transfer_tuples_handler$fn__4610$fn__4611.invoke(worker.clj:330) ~[storm-core-0.9.3-rc1.jar:0.9.3-rc1] at backtype.storm.daemon.worker$mk_transfer_tuples_handler$fn__4610.invoke(worker.clj:328) ~[storm-core-0.9.3-rc1.jar:0.9.3-rc1] at backtype.storm.disruptor$clojure_handler$reify__1668.onEvent(disruptor.clj:59) ~[storm-core-0.9.3-rc1.jar:0.9.3-rc1] at backtype.storm.utils.DisruptorQueue.consumeBatchToCursor(DisruptorQueue.java:124) ~[storm-core-0.9.3-rc1.jar:0.9.3-rc1] ... 6 common frames omitted 2015-01-28 18:29:12 [Thread-12-disruptor-worker-transfer-queue] ERROR backtype.storm.util - Halting process: ("Async loop died!") java.lang.RuntimeException: ("Async loop died!") at backtype.storm.util$exit_process_BANG_.doInvoke(util.clj:319) [storm-core-0.9.3-rc1.jar:0.9.3-rc1] at clojure.lang.RestFn.invoke(RestFn.java:423) [clojure-1.5.1.jar:na] at backtype.storm.disruptor$consume_loop_STAR_$fn__1679.invoke(disruptor.clj:93) [storm-core-0.9.3-rc1.jar:0.9.3-rc1] at backtype.storm.util$async_loop$fn__457.invoke(util.clj:467) [storm-core-0.9.3-rc1.jar:0.9.3-rc1] at clojure.lang.AFn.run(AFn.java:24) [clojure-1.5.1.jar:na] at java.lang.Thread.run(Thread.java:662) [na:1.6.0_38]
kafka集成storm出现异常
java.lang.RuntimeException: java.lang.RuntimeException: java.lang.RuntimeException: No leader found for partition 1 at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:103) at storm.kafka.ZkCoordinator.getMyManagedPartitions(ZkCoordinator.java:69) at storm.kafka.KafkaSpout.nextTuple(KafkaSpout.java:135) at backtype.storm.daemon.executor$fn__6579$fn__6594$fn__6623.invoke(executor.clj:565) at backtype.storm.util$async_loop$fn__459.invoke(util.clj:463) at clojure.lang.AFn.run(AFn.java:24) at java.lang.Thread.run(Thread.java:745) Caused by: java.lang.RuntimeException: java.lang.RuntimeException: No leader found for partition 1 at storm.kafka.DynamicBrokersReader.getBrokerInfo(DynamicBrokersReader.java:81) at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:79) ... 6 more Caused by: java.lang.RuntimeException: No leader found for partition 1 at storm.kafka.DynamicBrokersReader.getLeaderFor(DynamicBrokersReader.java:120) at storm.kafka.DynamicBrokersReader.getBrokerInfo(DynamicBrokersReader.java:68) ... 7 more
storm拓扑bolt日志和jedis有关的error
storm拓扑bolt日志error如下,实际程序能正常连接redis。 请教各位老师是什么原因,谢谢。 2019-08-23 15:59:15.861 STDIO [ERROR] Aug 23, 2019 3:59:15 PM redis.clients.jedis.JedisSentinelPool initSentinels INFO: Trying to find master from available Sentinels... 2019-08-23 15:59:15.905 STDIO [ERROR] Aug 23, 2019 3:59:15 PM redis.clients.jedis.JedisSentinelPool initSentinels INFO: Redis master running at 10.4.43.8:16379, starting Sentinel listeners... 2019-08-23 15:59:15.936 STDIO [ERROR] Aug 23, 2019 3:59:15 PM redis.clients.jedis.JedisSentinelPool initPool INFO: Created JedisPool to master at 10.4.43.8:16379 2019-08-23 15:59:24.803 c.a.d.p.DruidDataSource [INFO] {dataSource-1} inited
storm不透明事务如何依据txid,curr,prev做到全量回滚。
在storm的不透明分区事务拓扑中(IOpaquePartitionedTrident),当出现计算错误且重发消息时发现kafka分区不可读时,拓扑是如何依据已经持久化的[txid,curr,prev]做到全量回滚(回滚指的是,在持久化过程中,txid一样,所以基于prev重新计算)的呢? 按照我自己的理解,出现以上情况时,因为同一个事务id会包含不同的tuple,就意味这需要持久话的key和value也会不一样,那么结果只会回滚重复计算两次中key重叠的部分
storm kafka整合报错,请大神帮忙看看啥情况
70308 [Thread-29-spout-read-kafka] INFO s.k.ZkCoordinator - Task [1/1] New partition managers: [Partition{host=pamshost02:9092, partition=9}, Partition{host=pamshost02:9092, partition=8}, Partition{host=pamshost02:9092, partition=7}, Partition{host=pamshost02:9092, partition=6}, Partition{host=pamshost02:9092, partition=5}, Partition{host=pamshost02:9092, partition=4}, Partition{host=pamshost02:9092, partition=3}, Partition{host=pamshost02:9092, partition=0}, Partition{host=pamshost02:9092, partition=1}, Partition{host=pamshost02:9092, partition=2}] 70599 [Thread-29-spout-read-kafka] INFO s.k.PartitionManager - Read partition information from: /detect/readKafka/partition_9 --> null 91326 [Thread-29-spout-read-kafka] INFO k.c.SimpleConsumer - Reconnect due to socket error: java.nio.channels.ClosedChannelException 91327 [Thread-29-spout-read-kafka] ERROR b.s.util - Async loop died! java.lang.RuntimeException: java.nio.channels.ClosedChannelException at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:103) ~[storm-kafka-0.10.0.jar:0.10.0] at storm.kafka.ZkCoordinator.getMyManagedPartitions(ZkCoordinator.java:69) ~[storm-kafka-0.10.0.jar:0.10.0] at storm.kafka.KafkaSpout.nextTuple(KafkaSpout.java:135) ~[storm-kafka-0.10.0.jar:0.10.0] at backtype.storm.daemon.executor$fn__5624$fn__5639$fn__5670.invoke(executor.clj:607) ~[storm-core-0.10.0.jar:0.10.0] at backtype.storm.util$async_loop$fn__545.invoke(util.clj:479) [storm-core-0.10.0.jar:0.10.0] at clojure.lang.AFn.run(AFn.java:22) [clojure-1.6.0.jar:?] at java.lang.Thread.run(Thread.java:745) [?:1.7.0_75] Caused by: java.nio.channels.ClosedChannelException at kafka.network.BlockingChannel.send(BlockingChannel.scala:110) ~[kafka_2.11-0.9.0.0.jar:?] at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:98) ~[kafka_2.11-0.9.0.0.jar:?] at kafka.consumer.SimpleConsumer.kafka$consumer$SimpleConsumer$$sendRequest(SimpleConsumer.scala:83) ~[kafka_2.11-0.9.0.0.jar:?] at kafka.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:149) ~[kafka_2.11-0.9.0.0.jar:?] at kafka.javaapi.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:79) ~[kafka_2.11-0.9.0.0.jar:?] at storm.kafka.KafkaUtils.getOffset(KafkaUtils.java:74) ~[storm-kafka-0.10.0.jar:0.10.0] at storm.kafka.KafkaUtils.getOffset(KafkaUtils.java:64) ~[storm-kafka-0.10.0.jar:0.10.0] at storm.kafka.PartitionManager.<init>(PartitionManager.java:89) ~[storm-kafka-0.10.0.jar:0.10.0] at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:98) ~[storm-kafka-0.10.0.jar:0.10.0] ... 6 more 91329 [Thread-29-spout-read-kafka] ERROR b.s.d.executor - java.lang.RuntimeException: java.nio.channels.ClosedChannelException at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:103) ~[storm-kafka-0.10.0.jar:0.10.0] at storm.kafka.ZkCoordinator.getMyManagedPartitions(ZkCoordinator.java:69) ~[storm-kafka-0.10.0.jar:0.10.0] at storm.kafka.KafkaSpout.nextTuple(KafkaSpout.java:135) ~[storm-kafka-0.10.0.jar:0.10.0] at backtype.storm.daemon.executor$fn__5624$fn__5639$fn__5670.invoke(executor.clj:607) ~[storm-core-0.10.0.jar:0.10.0] at backtype.storm.util$async_loop$fn__545.invoke(util.clj:479) [storm-core-0.10.0.jar:0.10.0] at clojure.lang.AFn.run(AFn.java:22) [clojure-1.6.0.jar:?] at java.lang.Thread.run(Thread.java:745) [?:1.7.0_75] Caused by: java.nio.channels.ClosedChannelException at kafka.network.BlockingChannel.send(BlockingChannel.scala:110) ~[kafka_2.11-0.9.0.0.jar:?] at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:98) ~[kafka_2.11-0.9.0.0.jar:?] at kafka.consumer.SimpleConsumer.kafka$consumer$SimpleConsumer$$sendRequest(SimpleConsumer.scala:83) ~[kafka_2.11-0.9.0.0.jar:?] at kafka.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:149) ~[kafka_2.11-0.9.0.0.jar:?] at kafka.javaapi.consumer.SimpleConsumer.getOffsetsBefore(SimpleConsumer.scala:79) ~[kafka_2.11-0.9.0.0.jar:?] at storm.kafka.KafkaUtils.getOffset(KafkaUtils.java:74) ~[storm-kafka-0.10.0.jar:0.10.0] at storm.kafka.KafkaUtils.getOffset(KafkaUtils.java:64) ~[storm-kafka-0.10.0.jar:0.10.0] at storm.kafka.PartitionManager.<init>(PartitionManager.java:89) ~[storm-kafka-0.10.0.jar:0.10.0] at storm.kafka.ZkCoordinator.refresh(ZkCoordinator.java:98) ~[storm-kafka-0.10.0.jar:0.10.0] ... 6 more 91535 [Thread-29-spout-read-kafka] ERROR b.s.util - Halting process: ("Worker died") java.lang.RuntimeException: ("Worker died") at backtype.storm.util$exit_process_BANG_.doInvoke(util.clj:336) [storm-core-0.10.0.jar:0.10.0] at clojure.lang.RestFn.invoke(RestFn.java:423) [clojure-1.6.0.jar:?] at backtype.storm.daemon.worker$fn__7184$fn__7185.invoke(worker.clj:532) [storm-core-0.10.0.jar:0.10.0] at backtype.storm.daemon.executor$mk_executor_data$fn__5523$fn__5524.invoke(executor.clj:261) [storm-core-0.10.0.jar:0.10.0] at backtype.storm.util$async_loop$fn__545.invoke(util.clj:489) [storm-core-0.10.0.jar:0.10.0] at clojure.lang.AFn.run(AFn.java:22) [clojure-1.6.0.jar:?] at java.lang.Thread.run(Thread.java:745) [?:1.7.0_75]
终于明白阿里百度这样的大公司,为什么面试经常拿ThreadLocal考验求职者了
点击上面↑「爱开发」关注我们每晚10点,捕获技术思考和创业资源洞察什么是ThreadLocalThreadLocal是一个本地线程副本变量工具类,各个线程都拥有一份线程私有的数
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
此博客仅为我业余记录文章所用,发布到此,仅供网友阅读参考,如有侵权,请通知我,我会删掉。 补充 有不少读者留言说本文章没有用,因为天气预报直接打开手机就可以收到了,为何要多此一举发送到邮箱呢!!!那我在这里只能说:因为你没用,所以你没用!!! 这里主要介绍的是思路,不是天气预报!不是天气预报!!不是天气预报!!!天气预报只是用于举例。请各位不要再刚了!!! 下面是我会用到的两个场景: 每日下
死磕YOLO系列,YOLOv1 的大脑、躯干和手脚
YOLO 是我非常喜欢的目标检测算法,堪称工业级的目标检测,能够达到实时的要求,它帮我解决了许多实际问题。 这就是 YOLO 的目标检测效果。它定位了图像中物体的位置,当然,也能预测物体的类别。 之前我有写博文介绍过它,但是每次重新读它的论文,我都有新的收获,为此我准备写一个系列的文章来详尽分析它。这是第一篇,从它的起始 YOLOv1 讲起。 YOLOv1 的论文地址:https://www.c
知乎高赞:中国有什么拿得出手的开源软件产品?(整理自本人原创回答)
知乎高赞:中国有什么拿得出手的开源软件产品? 在知乎上,有个问题问“中国有什么拿得出手的开源软件产品(在 GitHub 等社区受欢迎度较好的)?” 事实上,还不少呢~ 本人于2019.7.6进行了较为全面的 回答 - Bravo Yeung,获得该问题下回答中得最高赞(236赞和1枚专业勋章),对这些受欢迎的 Github 开源项目分类整理如下: 分布式计算、云平台相关工具类 1.SkyWalk
20行Python代码爬取王者荣耀全英雄皮肤
引言 王者荣耀大家都玩过吧,没玩过的也应该听说过,作为时下最火的手机MOBA游戏,咳咳,好像跑题了。我们今天的重点是爬取王者荣耀所有英雄的所有皮肤,而且仅仅使用20行Python代码即可完成。 准备工作 爬取皮肤本身并不难,难点在于分析,我们首先得得到皮肤图片的url地址,话不多说,我们马上来到王者荣耀的官网: 我们点击英雄资料,然后随意地选择一位英雄,接着F12打开调试台,找到英雄原皮肤的图片
简明易理解的@SpringBootApplication注解源码解析(包含面试提问)
欢迎关注文章系列 ,关注我 《提升能力,涨薪可待》 《面试知识,工作可待》 《实战演练,拒绝996》 欢迎关注我博客,原创技术文章第一时间推出 也欢迎关注公 众 号【Ccww笔记】,同时推出 如果此文对你有帮助、喜欢的话,那就点个赞呗,点个关注呗! 《提升能力,涨薪可待篇》- @SpringBootApplication注解源码解析 一、@SpringBootApplication 的作用是什
西游记团队中如果需要裁掉一个人,会先裁掉谁?
2019年互联网寒冬,大批企业开始裁员,下图是网上流传的一张截图: 裁员不可避免,那如何才能做到不管大环境如何变化,自身不受影响呢? 我们先来看一个有意思的故事,如果西游记取经团队需要裁员一名,会裁掉谁呢,为什么? 西游记团队组成: 1.唐僧 作为团队teamleader,有很坚韧的品性和极高的原则性,不达目的不罢休,遇到任何问题,都没有退缩过,又很得上司支持和赏识(直接得到唐太宗的任命,既给
Python语言高频重点汇总
Python语言高频重点汇总 GitHub面试宝典仓库——点这里跳转 文章目录Python语言高频重点汇总**GitHub面试宝典仓库——点这里跳转**1. 函数-传参2. 元类3. @staticmethod和@classmethod两个装饰器4. 类属性和实例属性5. Python的自省6. 列表、集合、字典推导式7. Python中单下划线和双下划线8. 格式化字符串中的%和format9.
究竟你适不适合买Mac?
我清晰的记得,刚买的macbook pro回到家,开机后第一件事情,就是上了淘宝网,花了500元钱,找了一个上门维修电脑的师傅,上门给我装了一个windows系统。。。。。。 表砍我。。。 当时买mac的初衷,只是想要个固态硬盘的笔记本,用来运行一些复杂的扑克软件。而看了当时所有的SSD笔记本后,最终决定,还是买个好(xiong)看(da)的。 已经有好几个朋友问我mba怎么样了,所以今天尽量客观
程序员一般通过什么途径接私活?
二哥,你好,我想知道一般程序猿都如何接私活,我也想接,能告诉我一些方法吗? 上面是一个读者“烦不烦”问我的一个问题。其实不止是“烦不烦”,还有很多读者问过我类似这样的问题。 我接的私活不算多,挣到的钱也没有多少,加起来不到 20W。说实话,这个数目说出来我是有点心虚的,毕竟太少了,大家轻喷。但我想,恰好配得上“一般程序员”这个称号啊。毕竟苍蝇再小也是肉,我也算是有经验的人了。 唾弃接私活、做外
ES6基础-ES6的扩展
进行对字符串扩展,正则扩展,数值扩展,函数扩展,对象扩展,数组扩展。 开发环境准备: 编辑器(VS Code, Atom,Sublime)或者IDE(Webstorm) 浏览器最新的Chrome 字符串的扩展: 模板字符串,部分新的方法,新的unicode表示和遍历方法: 部分新的字符串方法 padStart,padEnd,repeat,startsWith,endsWith,includes 字
Python爬虫爬取淘宝,京东商品信息
小编是一个理科生,不善长说一些废话。简单介绍下原理然后直接上代码。 使用的工具(Python+pycharm2019.3+selenium+xpath+chromedriver)其中要使用pycharm也可以私聊我selenium是一个框架可以通过pip下载 pip install selenium -i https://pypi.tuna.tsinghua.edu.cn/simple/ 
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
你知道的越多,你不知道的越多 点赞再看,养成习惯 本文 GitHub https://github.com/JavaFamily 已收录,有一线大厂面试点思维导图,也整理了很多我的文档,欢迎Star和完善,大家面试可以参照考点复习,希望我们一起有点东西。 前前言 为啥今天有个前前言呢? 因为你们的丙丙啊,昨天有牌面了哟,直接被微信官方推荐,知乎推荐,也就仅仅是还行吧(心里乐开花)
Java工作4年来应聘要16K最后没要,细节如下。。。
前奏: 今天2B哥和大家分享一位前几天面试的一位应聘者,工作4年26岁,统招本科。 以下就是他的简历和面试情况。 基本情况: 专业技能: 1、&nbsp;熟悉Sping了解SpringMVC、SpringBoot、Mybatis等框架、了解SpringCloud微服务 2、&nbsp;熟悉常用项目管理工具:SVN、GIT、MAVEN、Jenkins 3、&nbsp;熟悉Nginx、tomca
Python爬虫精简步骤1 获取数据
爬虫的工作分为四步: 1.获取数据。爬虫程序会根据我们提供的网址,向服务器发起请求,然后返回数据。 2.解析数据。爬虫程序会把服务器返回的数据解析成我们能读懂的格式。 3.提取数据。爬虫程序再从中提取出我们需要的数据。 4.储存数据。爬虫程序把这些有用的数据保存起来,便于你日后的使用和分析。 这一篇的内容就是:获取数据。 首先,我们将会利用一个强大的库——requests来获取数据。 在电脑上安装
作为一个程序员,CPU的这些硬核知识你必须会!
CPU对每个程序员来说,是个既熟悉又陌生的东西? 如果你只知道CPU是中央处理器的话,那可能对你并没有什么用,那么作为程序员的我们,必须要搞懂的就是CPU这家伙是如何运行的,尤其要搞懂它里面的寄存器是怎么一回事,因为这将让你从底层明白程序的运行机制。 随我一起,来好好认识下CPU这货吧 把CPU掰开来看 对于CPU来说,我们首先就要搞明白它是怎么回事,也就是它的内部构造,当然,CPU那么牛的一个东
破14亿,Python分析我国存在哪些人口危机!
2020年1月17日,国家统计局发布了2019年国民经济报告,报告中指出我国人口突破14亿。 猪哥的朋友圈被14亿人口刷屏,但是很多人并没有看到我国复杂的人口问题:老龄化、男女比例失衡、生育率下降、人口红利下降等。 今天我们就来分析一下我们国家的人口数据吧! 更多有趣分析教程,扫描下方二维码关注vx公号「裸睡的猪」 即可查看! 一、背景 1.人口突破14亿 2020年1月17日,国家统计局发布
web前端javascript+jquery知识点总结
Javascript javascript 在前端网页中占有非常重要的地位,可以用于验证表单,制作特效等功能,它是一种描述语言,也是一种基于对象(Object)和事件驱动并具有安全性的脚本语言 ,语法同java类似,是一种解释性语言,边执行边解释。 JavaScript的组成: ECMAScipt 用于描述: 语法,变量和数据类型,运算符,逻辑控制语句,关键字保留字,对象。 浏览器对象模型(Br
Qt实践录:开篇
本系列文章介绍笔者的Qt实践之路。 背景 笔者首次接触 Qt 大约是十多年前,当时试用了 Qt ,觉得不如 MFC 好用。现在 Qt 的 API、文档等都比较完善,在年初决定重新拾起,正所谓技多不压身,将 Qt 当为一种谋生工具亦未尝不可。利用春节假期的集中时间,快速专攻一下。 本系列名为“Qt实践”,故不是教程,笔者对 Qt 的定位是“使用”,可以帮助快速编写日常的工具,如串口、网络等。所以不
在家远程办公效率低?那你一定要收好这个「在家办公」神器!
相信大家都已经收到国务院延长春节假期的消息,接下来,在家远程办公可能将会持续一段时间。 但是问题来了。远程办公不是人在电脑前就当坐班了,相反,对于沟通效率,文件协作,以及信息安全都有着极高的要求。有着非常多的挑战,比如: 1在异地互相不见面的会议上,如何提高沟通效率? 2文件之间的来往反馈如何做到及时性?如何保证信息安全? 3如何规划安排每天工作,以及如何进行成果验收? ......
作为一个程序员,内存和磁盘的这些事情,你不得不知道啊!!!
截止目前,我已经分享了如下几篇文章: 一个程序在计算机中是如何运行的?超级干货!!! 作为一个程序员,CPU的这些硬核知识你必须会! 作为一个程序员,内存的这些硬核知识你必须懂! 这些知识可以说是我们之前都不太重视的基础知识,可能大家在上大学的时候都学习过了,但是嘞,当时由于老师讲解的没那么有趣,又加上这些知识本身就比较枯燥,所以嘞,大家当初几乎等于没学。 再说啦,学习这些,也看不出来有什么用啊!
这个世界上人真的分三六九等,你信吗?
偶然间,在知乎上看到一个问题 一时间,勾起了我深深的回忆。 以前在厂里打过两次工,做过家教,干过辅导班,做过中介。零下几度的晚上,贴过广告,满脸、满手地长冻疮。   再回首那段岁月,虽然苦,但让我学会了坚持和忍耐。让我明白了,在这个世界上,无论环境多么的恶劣,只要心存希望,星星之火,亦可燎原。   下文是原回答,希望能对你能有所启发。   如果我说,这个世界上人真的分三六九等,
为什么听过很多道理,依然过不好这一生?
记录学习笔记是一个重要的习惯,不希望学习过的东西成为过眼云烟。做总结的同时也是一次复盘思考的过程。 本文是根据阅读得到 App上《万维钢·精英日课》部分文章后所做的一点笔记和思考。学习是一个系统的过程,思维模型的建立需要相对完整的学习和思考过程。以下观点是在碎片化阅读后总结的一点心得总结。
B 站上有哪些很好的学习资源?
哇说起B站,在小九眼里就是宝藏般的存在,放年假宅在家时一天刷6、7个小时不在话下,更别提今年的跨年晚会,我简直是跪着看完的!! 最早大家聚在在B站是为了追番,再后来我在上面刷欧美新歌和漂亮小姐姐的舞蹈视频,最近两年我和周围的朋友们已经把B站当作学习教室了,而且学习成本还免费,真是个励志的好平台ヽ(.◕ฺˇд ˇ◕ฺ;)ノ 下面我们就来盘点一下B站上优质的学习资源: 综合类 Oeasy: 综合
雷火神山直播超两亿,Web播放器事件监听是怎么实现的?
Web播放器解决了在手机浏览器和PC浏览器上播放音视频数据的问题,让视音频内容可以不依赖用户安装App,就能进行播放以及在社交平台进行传播。在视频业务大数据平台中,播放数据的统计分析非常重要,所以Web播放器在使用过程中,需要对其内部的数据进行收集并上报至服务端,此时,就需要对发生在其内部的一些播放行为进行事件监听。 那么Web播放器事件监听是怎么实现的呢? 01 监听事件明细表 名
3万字总结,Mysql优化之精髓
本文知识点较多,篇幅较长,请耐心学习 MySQL已经成为时下关系型数据库产品的中坚力量,备受互联网大厂的青睐,出门面试想进BAT,想拿高工资,不会点MySQL优化知识,拿offer的成功率会大大下降。 为什么要优化 系统的吞吐量瓶颈往往出现在数据库的访问速度上 随着应用程序的运行,数据库的中的数据会越来越多,处理时间会相应变慢 数据是存放在磁盘上的,读写速度无法和内存相比 如何优化 设计
一条链接即可让黑客跟踪你的位置! | Seeker工具使用
搬运自:冰崖的部落阁(icecliffsnet) 严正声明:本文仅限于技术讨论,严禁用于其他用途。 请遵守相对应法律规则,禁止用作违法途径,出事后果自负! 上次写的防社工文章里边提到的gps定位信息(如何防止自己被社工或人肉) 除了主动收集他人位置信息以外,我们还可以进行被动收集 (没有技术含量) Seeker作为一款高精度地理位置跟踪工具,同时也是社交工程学(社会工程学)爱好者...
作为程序员的我,大学四年一直自学,全靠这些实用工具和学习网站!
我本人因为高中沉迷于爱情,导致学业荒废,后来高考,毫无疑问进入了一所普普通通的大学,实在惭愧...... 我又是那么好强,现在学历不行,没办法改变的事情了,所以,进入大学开始,我就下定决心,一定要让自己掌握更多的技能,尤其选择了计算机这个行业,一定要多学习技术。 在进入大学学习不久后,我就认清了一个现实:我这个大学的整体教学质量和学习风气,真的一言难尽,懂的人自然知道怎么回事? 怎么办?我该如何更好的提升
前端JS初级面试题二 (。•ˇ‸ˇ•。)老铁们!快来瞧瞧自己都会了么
1. 传统事件绑定和符合W3C标准的事件绑定有什么区别? 传统事件绑定 &lt;div onclick=""&gt;123&lt;/div&gt; div1.onclick = function(){}; &lt;button onmouseover=""&gt;&lt;/button&gt; 注意: 如果给同一个元素绑定了两次或多次相同类型的事件,那么后面的绑定会覆盖前面的绑定 (不支持DOM事...
相关热词 c#导入fbx c#中屏蔽键盘某个键 c#正态概率密度 c#和数据库登陆界面设计 c# 高斯消去法 c# codedom c#读取cad文件文本 c# 控制全局鼠标移动 c# temp 目录 bytes初始化 c#
立即提问