haproxy 做rabbitmq的集群负载均衡和高可用如果保持tcp长连接

我利用haproxy+rabbitmq搭建了一个消息队列的集群,
haproxy为我提供集群的高可用和负载均衡,但是我发现haproxy的配置要求必须配置
客户端连接和服务端连接的超时时间,这就有一个问题,因为客户端监听消息队列需要长久保持一个连接,但是haproxy却在客户端连接一段时间没有消息后就会断开连接,这样就没办法保证我的队列监听程序能够持续连接,这个应该怎么办?

2个回答

自己找到答案了,原来是可以不配置超时时间的,只是在启动的时候会发出警告,我以为这个警告会导致程序启动失败,实际上程序已经启动成功,并且可以用了,只是会给你警告而已,忽略就好了。

楼主,我使用的是负载均衡的后端mosquitto,连接打印机的,所以连接不能断,想主机宕机了才转发到别的机子上。这个怎么实现的?求指点

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
rabbitmq普通集群(3节点)+haproxy,节点无规律宕掉
现在生产上有一个rabbitmq(RabbitMQ 3.6.3, Erlang 18.1),三个节点,普通集群,集群前面有一个haproxy进行负载均衡,最近发现集群中的三个节点会随机出现宕掉的情况,影响业务。 下面是haproxy的配置 ``` global log 127.0.0.1 local0 log 127.0.0.1 local2 info maxconn 4096 user haproxy group haproxy daemon pidfile /var/run/haproxy.pid defaults log global mode tcp option tcplog option dontlognull #保证HAProxy不记录上级负载均衡发送过来的用于检测状态没有数据的心跳包 retries 3 #重试次数 option redispatch maxconn 4096 #最大连接数 #balance source #如果想让HAProxy按照客户端的IP地址进行负载均衡策略,即同一IP地址的所有请求都发送到同一服务器时需要配置此选项 balance leastconn timeout connect 5000 timeout client 70000 timeout server 70000 listen admin_stat #haproxy的web管理端口 8888,自行设置 bind 0.0.0.0:8888 mode http stats refresh 30s #haproxy web管理url,自行设置 stats uri /haproxy_stats stats realm Haproxy\ Statistics #haproxy web管理用户名密码,自行设置 stats auth admin:Byb1Asr9 stats hide-version listen rabbitmq #监听5672端口(如果haproxy安装在集群节点上时请选择非5672端口如5670),并转发给三个节点的5672端口,采用轮询策略 bind 0.0.0.0:5672 mode tcp balance roundrobin server rabbitmq-1 192.168.1.15:5672 check inter 2000 rise 2 fall 3 server rabbitmq-2 192.168.1.16:5672 check inter 2000 rise 2 fall 3 server rabbitmq-3 192.168.1.17:5672 check inter 2000 rise 2 fall 3 ``` 下图是rabbitmq的信息 ![图片说明](https://img-ask.csdn.net/upload/201806/07/1528360511_731929.jpg) 节点宕掉的时候,在节点的mq日志(rabbitmq@mq1.log)里只能看到下面的信息,没有其他的错误信息 在系统的/var/log/message这个时间段,没有出现错误。 ``` =INFO REPORT==== 5-Jun-2018::01:30:09 === accepting AMQP connection <0.227.33> (192.168.1.7:43276 -> 192.168.1.16:5672) =INFO REPORT==== 5-Jun-2018::01:30:09 === accepting AMQP connection <0.224.33> (192.168.1.7:43279 -> 192.168.1.16:5672) =INFO REPORT==== 5-Jun-2018::01:30:09 === accepting AMQP connection <0.294.33> (192.168.1.7:43282 -> 192.168.1.16:5672) =WARNING REPORT==== 6-Jun-2018::12:18:07 === closing AMQP connection <0.227.33> (192.168.1.7:43276 -> 192.168.1.16:5672): client unexpectedly closed TCP connection =INFO REPORT==== 6-Jun-2018::19:14:47 === rabbit on node rabbit@mq1 down =INFO REPORT==== 6-Jun-2018::19:14:47 === accepting AMQP connection <0.16310.70> (192.168.1.7:42508 -> 192.168.1.16:5672) =INFO REPORT==== 6-Jun-2018::19:14:47 === accepting AMQP connection <0.16320.70> (192.168.1.7:42511 -> 192.168.1.16:5672) =INFO REPORT==== 6-Jun-2018::19:14:48 === accepting AMQP connection <0.16390.70> (192.168.1.7:42514 -> 192.168.1.16:5672) =INFO REPORT==== 6-Jun-2018::19:14:48 === Statistics event collector started. ``` 在/var/log/secure里宕掉的时间点有如下日志,其他的信息都没有了: ``` Jun 6 19:14:48 mq1 su: pam_unix(su:session): session closed for user rabbitmq ``` 想问一下,各位,有没有谁碰到类似的问题,或者能否提供一些解析问题的思路?谢谢了
keepalived+haproxy实现高可用负载均衡
大家好!我有3台linux服务器。1台装haproxy,另外2台做后端,装speedtest测速客户端(需要开80和8080)。 设计是实现主备。有以下两个问题 请大家帮着解答下。 1)两台后端服务器在公网不同网段,能实现keepalived主备吗(据说keepalived基于vrrp 只能同网段) 2)如果采取负载均衡技术实现主备。负载均衡器服务器没有装speedtest客户端,会提示检测不到speedtest客户端(我设计的是后端两台服务器装speedtest客户端做负载主备。如果负载均衡器服务器上安装speedtest客户端,app会直接用该服务器服务,失去主备设计意义)。请问我这种构思能实现吗 还是说负载均衡器只是单纯转发流量 ,不能实现我想要的功能。 如果1、2都无法实现我的功能,有没有可行的替代方案。 谢谢大家!
haproxy rabbitMQ 问题
环境声明: 已经安装好haproxy 已经搭建好rabbitMQ集群 win7平台 haproxy配置文件如下: ``` global log 127.0.0.1 local0 info maxconn 4096 stats socket /tmp/haproxy.socket uid haproxy mode 770 level admin daemon #pidfile /var/run/haproxy.pid defaults log global mode http retries 2 option tcplog option dontlognull # option redispatch # option abortonclose maxconn 2000 timeout connect 5s timeout client 120s timeout server 120s listen rabbitmq_cluster bind 0.0.0.0:5670 mode http balance roundrobin server rabbit 127.0.0.1:5672 check inter 5000 rise 2 fall 3 server rabbit_1 127.0.0.1:5673 check inter 5000 rise 2 fall 3 server rabbit_2 127.0.0.1:5674 check inter 5000 rise 2 fall 3 listen private_monitoring :8100 mode http option httplog stats enable stats uri /haproxy/admin stats auth admin:admin stats refresh 10s ``` 尚敏的而配置中已经将haproxy面向前端访问的端口设置成了5670 我在本地(win7)通过telnet检测过远程haproxy的5670端口,是通的 但是,我用java客户端链接haproxy负载时,始终报连接超时 代码如下: ``` package com.rabbitmq.cluster_test; import java.io.IOException; import java.util.concurrent.TimeoutException; import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory; import com.rabbitmq.client.ConsumerCancelledException; import com.rabbitmq.client.QueueingConsumer; import com.rabbitmq.client.QueueingConsumer.Delivery; import com.rabbitmq.client.ShutdownSignalException; public class Consumer extends Thread { private static final String EXCHANGE_NAME = "exchange_name"; private static final String ROUTING_KEY = "routing_key"; private static final String QUEUE_NAME = "queue_name"; private static Connection conn = null; static{ ConnectionFactory factory = new ConnectionFactory(); factory.setHost("192.168.95.131"); factory.setPort(5670); factory.setUsername("guest"); factory.setPassword("guest"); factory.setVirtualHost("/"); try { conn = factory.newConnection(); } catch (IOException | TimeoutException e) { e.printStackTrace(); } } @Override public void run() { try { Channel channel = conn.createChannel(); // channel.exchangeDeclare(EXCHANGE_NAME, "topic"); channel.queueDeclare(QUEUE_NAME, false, true, true, null); channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, ROUTING_KEY); QueueingConsumer consumer = new QueueingConsumer(channel); channel.basicConsume(QUEUE_NAME, false, consumer); while(true){ try { Delivery delivery = consumer.nextDelivery(); String msg = new String(delivery.getBody()); System.out.println("msg = "+msg); Long tag = delivery.getEnvelope().getDeliveryTag(); channel.basicAck(tag, false); } catch (ShutdownSignalException | ConsumerCancelledException | InterruptedException e) { e.printStackTrace(); } } } catch (IOException e) { e.printStackTrace(); } } } ``` 报错为: ``` java.util.concurrent.TimeoutException at com.rabbitmq.utility.BlockingCell.get(BlockingCell.java:76) at com.rabbitmq.utility.BlockingCell.uninterruptibleGet(BlockingCell.java:110) at com.rabbitmq.utility.BlockingValueOrException.uninterruptibleGetValue(BlockingValueOrException.java:36) at com.rabbitmq.client.impl.AMQChannel$BlockingRpcContinuation.getReply(AMQChannel.java:366) at com.rabbitmq.client.impl.AMQConnection.start(AMQConnection.java:292) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:824) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:778) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:868) at com.rabbitmq.cluster_test.Consumer.<clinit>(Consumer.java:30) at com.rabbitmq.cluster_test.MainTest.main(MainTest.java:9) Exception in thread "Thread-0" java.lang.NullPointerException at com.rabbitmq.cluster_test.Consumer.run(Consumer.java:39) java.io.IOException at com.rabbitmq.client.impl.AMQChannel.wrap(AMQChannel.java:105) at com.rabbitmq.client.impl.AMQChannel.wrap(AMQChannel.java:101) at com.rabbitmq.client.impl.AMQConnection.start(AMQConnection.java:349) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:824) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:778) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:868) at com.rabbitmq.cluster_test.Publisher.<clinit>(Publisher.java:25) at com.rabbitmq.cluster_test.MainTest.main(MainTest.java:18) Caused by: com.rabbitmq.client.ShutdownSignalException: connection error at com.rabbitmq.utility.ValueOrException.getValue(ValueOrException.java:66) at com.rabbitmq.utility.BlockingValueOrException.uninterruptibleGetValue(BlockingValueOrException.java:36) at com.rabbitmq.client.impl.AMQChannel$BlockingRpcContinuation.getReply(AMQChannel.java:366) at com.rabbitmq.client.impl.AMQConnection.start(AMQConnection.java:292) ... 5 more Caused by: java.io.EOFException at java.io.DataInputStream.readFully(DataInputStream.java:197) at java.io.DataInputStream.readFully(DataInputStream.java:169) at com.rabbitmq.client.impl.Frame.readFrom(Frame.java:116) at com.rabbitmq.client.impl.SocketFrameHandler.readFrame(SocketFrameHandler.java:138) at com.rabbitmq.client.impl.AMQConnection$MainLoop.run(AMQConnection.java:541) at java.lang.Thread.run(Thread.java:745) Exception in thread "Thread-1" java.lang.NullPointerException at com.rabbitmq.cluster_test.Publisher.run(Publisher.java:34) ==over== 总共耗时:9.596秒 ```
keepalived和haproxy必须装在一台主机上吗?
keepalived和haproxy必须装在一台主机上吗? a主机的keepalived可以接管b主机的haproxy吗?
负载均衡如何实现请求和响应分离
最近刚开始学习负载均衡,目前我看的有四层的LVS,七层的HAProxy,nginx。但是,看了一篇文章,里面无意提了一个事,但是却没有解决方案。 说的是 负载均衡 可以实现 请求的时候 经过前置机分发 但是 响应的时候 却直接将数据响应给客户端 这个怎么实现的哈 如果实现 对于LB主机来讲 性能会提升太多 小白求教
负载均衡的问题 ~~~~~~~~~~
目前一个部署我了解的情况:最上面是F5(部署2台,主备模式,压力最大)、然后是WEB集群(每个应用均有自己的WEB AP DB集群,里面部署apche和haproxy,没有部署任何应用逻辑)、AP集群(应用部署在这里),最后是DB。 我想了解一下具体的解析过程:以下是我的猜测,请各位专家帮忙确认下是否正确: 客户端配置的服务地址是F5的IP,客户端访问不同的N个应用(每个应用IP不一样)都会先被转到F5,F5根据访问不同应用将请求转到该应用所属的WEB集群。 WEB里apache负责接收F5的请求,然后转给haproxy,haproxy负责会话保持,将请求发给AP服务器。 AP服务器接收情况进行业务逻辑处理,同时访问数据库完成数据库操作。 有2个问题: 1、apache和haproxy都部署在WEB,具体是技术上如何实现呢(我猜测是不是apache接到F5的请求,什么都不做直接传到本机haproxy的端口上)?这样做目的是什么?为什么WEB上面需要同时部署apache和Haproxy呢?我理解WEB只部署apache或者Haproxy就可以了吧,因为apache本身就可以做反向代理和负载均衡了把。甚至可以不要WEB,直接F5给AP做负载均衡和反向代理。 2、不同应用客户端配置服务器地址都不同,我了解到配置的是F5地址,但是我们只有1个F5,一个F5可以对应多个IP?F5根据IP不同转到后面不同的web?
Haproxy+LVS高可用集群,实现之后出现调度问题
下面这些都是我在虚拟机做的实验结果-.- 有两台网站服务器,两台LVS 做网站的分发器,一台HAproxy做两台LVS的调度器 配置什么的我这就不说了。主要是完成后的结果让我感到意外。 环境 redhat6.7 LVS做的是DR模式 HA和LVS 调度算法全是 rr 权重为都为1 HA服务器 ip 192.168.4.20 and 192.168.2.20 vip地址 192.168.4.20 LVS一 ip 192.168.4.10 vip地址 192.168.4.15 LVS二 ip 192.168.2.10 vip地址 192.168.2.15 webserver 一 192.168.4.111 and 192.168.2.111 cat /var/www/html/a.html 192.168.4.111 webserver 二 192.168.4.222 and 192.168.2.222 网站内容 192.168.4.222 cat /var/www/html/a.html 192.168.4.222 做完了相关的配置之后客户端访问 192.168.4.20地址,出现了调度问题 两边的web网站我都能访问到,但是并不是均衡出现的 很乱 我看了HAweb的管理页面是轮询,我单独访问两边LVS的vip地址也没有出错,两个结合就有问题了。。 里面是不是有什么逻辑问题阿,求解!!
负载均衡 F5\Apache\haprxy 组合使用的问题。。。
目前部署和我了解情况:最上面是F5(部署2台,主备模式,压力最大)、然后是WEB集群(每个应用均有自己的WEB AP DB集群,里面部署apche和haproxy,没有部署任何应用逻辑)、AP集群(应用部署在这里),最后是DB。 我想了解一下具体的解析过程:以下是我的猜测,请各位专家帮忙确认下是否正确: 用户访问不同的N个应用(每个应用IP不一样)都会先被转到F5,F5根据访问不同应用将请求转到该应用所属的WEB集群。 WEB里apache负责接收F5的请求,然后转给haproxy,haproxy负责会话保持,将请求发给AP服务器。(apache和haproxy部署在一起,具体是如何配合工作的呢?) AP服务器接收情况进行业务逻辑处理,同时访问数据库完成数据库操作。
openwrt 设置iptables+haproxy实现https透明代理
pve下虚拟openwrt做软路由,网关为192.168.1.1。openwrt布置haproxy做代理转发。 内网用户1.247需经网关1.1被haproxy转发上网。 iptables设置如下: ``` iptables -A INPUT -p tcp --dport 443 -j ACCEPT iptables -A OUTPUT -p tcp --sport 443 -j ACCEPT iptables -A FORWARD -p tcp --dport 443 -j ACCEPT iptables -A FORWARD -p tcp --sport 443 -j ACCEPT #iptables -t nat -A PREROUTING -p tcp -s 192.168.1.247 --dport 443 -j DNAT --to 192.168.1.1:8443 iptables -t nat -A PREROUTING -p tcp -s 192.168.1.247 --dport 80 -j DNAT --to 192.168.1.1:8800 ``` haproxy 已经简单配置 ``` global defaults log global mode tcp option dontlognull timeout connect 1000 timeout client 150000 timeout server 150000 frontend ss-in bind 192.168.1.247:8443 default_backend ss-out backend ss-out server server1 x.x.x.x:xx maxconn 20480 ``` 目前的问题是访问外网http80端口可以被haproxy转发并上网,iptables 设置生效。 但是访问https 443端口的话只能被转发,haproxy能够接收,但是客户端1.247无法正常上网。 为了证实haproxy的https转发效果,把客户端1.247配置代理 ``` 服务器: 192.168.1.1 端口:8443 ``` 客户端1.247能进行正常https访问,并且经由haproxy转发工作正常。 只是单独在iptables 里配置 ``` iptables -t nat -A PREROUTING -p tcp -s 192.168.1.247 --dport 443 -j DNAT --to 192.168.1.1:8443 ``` 就是不工作。请问各位大侠,我是iptables配置不正确吗? 本人才接触网络知识,各位轻喷,请指正,谢谢!
请求502 Bad Gateway The server returned an invalid or incomplete response
liunx系统,使用Haproxy负载均衡,经常在业务高峰期请求报错:502 Bad Gateway The server returned an invalid or incomplete response 请问是啥原因了,排查不到问题了
HaProxy设置TCP Mode却无法分发给后面的服务器
我使用HaProxy作为负载平衡,版本为1.5.14 这是haproxy.cfg文件配置: global log 127.0.0.1 local2 debug chroot /var/lib/haproxy pidfile /var/run/haproxy.pid maxconn 4000 user haproxy group haproxy daemon debug default mode tcp retries 2 option redispatch option abortonclose maxconn 4096 timeout connect 5000ms timeout client 30000ms timeout server 30000ms #timeout check 2000 log 127.0.0.1 local0 debug listen app1 log 127.0.0.1 local2 debug bind 0.0.0.0:5000 mode tcp server s1 127.0.0.1:5001 check server s2 127.0.0.1:5002 check 后面的服务器我用node.js写的: var net = require('net'); var server = net.createServer(function(sv_c){ sv_c.on('error',function(err){ console.log(err); }); sv_c.on('data',function(data){ console.log(data); sv_c.write("ok"); }) sv_c.on('end',function(){ console.log('close socket'); }) console.log(sv_c.remoteAddress); console.log(sv_c.remotePort); console.log(sv_c.localAddress); console.log(sv_c.localPort); }).listen(5001); 请求程序我也是node.js写的: var net = require('net'); var client = new net.Socket(); client.on('error',function(err){ console.log(err); }); client.connect(5000,'127.0.0.1',function(){ console.log('connection'); client.write("request"); client.on('data',function(data){ console.log(data+"end"); client.end(); }) }) 我的服务器端没有收到连接,请求端返回了一段网页: HTTP/1.0 400 Bad request Cache-Control: no-cache Connection: close Content-Type: text/html <html><body><h1>400 Bad request</h1> Your browser sent an invalid request. </body></html> 我已经设置为tcp mode了呀,还有那些地方做错了吗?
haproxy reload时候-sf和-st的区别?
用-sf执行的时候,发现老进程有长连接挂着而长时间无法结束。 而-st了之后,则立刻关闭了老进程。 我理解-st(terminates)是强行关闭进程,而-sf(finishes)则是类似HUP的软关闭?
haproxy+keepalived不能访问问题
在实现haproxy的高可用过程中,利用客户端 VIP不能访问。但是如果用安装了haproxy 的server访问VIP的话能正常访问。这是怎么回事呢。请大神帮忙。 环境说明: haproxy+keepalived(192.168.5.1 master 192.168.5.10 backup) real_server(192.168.5.11 192.168.5.12) client (192.168.5.100)
mysql分布式集群的构建
想构建一个分布式集群, 想用mycat作分布式中间件,我看网上最多的是 HaProxy+keepalived+mycat的用法构建分布式集群 mycat+mysql-cluster可以吗 网上好像没有这个资料
keepalived+haproxy+mycat问题
keepalived+haproxy+mycat的使用的时候 大概十秒不做mysql操作过会在执行mysql命令会报错一下的错,不过重新连接还是能够正常运行 ERROR 2006 (HY000): MySQL server has gone away No connection. Trying to reconnect... Connection id: 2 想知道报错原因
haproxy的轮询问题,curl可以实现轮询,浏览器访问不能轮询
1、haproxy.conf global chroot /root/gaproxy/haproxy/var/chroot daemon user haproxy group haproxy log 127.0.0.1:514 local0 warning pidfile /root/gaproxy/haproxy/var/run/haproxy.pid maxconn 20000 spread-checks 3 nbproc 1 defaults log global mode http retries 3 option redispatch contimeout 5000 clitimeout 50000 srvtimeout 50000 listen oldboytest bind *:80 mode http stats enable stats hide-version stats uri /admin?status stats auth admin:oldboy123 balance roundrobin option httpclose option forwardfor cookie SERVERID insert indirect timeout server 15s timeout connect 15s server web1 192.168.1.38:80 cookie A weight 1 check port 80 inter 5000 fall 5 server web2 192.168.1.40:80 cookie B weight 2 check port 80 inter 5000 fall 5 2、用curl访问看是否轮询: 命令: for((i=0;i<10;i++));do curl http://192.168.1.37;sleep 2;done 结果:oldboy2 zhangfei zhangfei oldboy2 zhangfei zhangfei oldboy2 zhangfei zhangfei oldboy2 也实现的轮询 2、现在换成浏览器是否实现轮询: 用IE: ![图片说明](https://img-ask.csdn.net/upload/201706/08/1496852033_65391.png) 点刷新一直都只访问一个问题,不会换成另外一个页面 用世界之窗:![图片说明](https://img-ask.csdn.net/upload/201706/08/1496852085_637378.png) 也是一样,点刷新不会轮询。 问题: 我想问下,是不是我哪里配置错了,但是curl为什么又能轮询。
HTTP抓包发现请求建链,为什么服务端回应了上一个会话序号的ACK包?
服务端采用的是haproxy做代理,服务器是LIUNX系统的。 我在服务器前端抓包,发现11.168.218.23使用的源端口55462在之前14:48:33已经使用过,而该会话结束后,11.168.192.31并未将该源端口立即释放; 所以11.168.218.23在14:50:14再次使用源端口55462发送SYN包请求建链时,11.168.192.31并未正常回应SYN+ACK,而是延续上一个会话的序号,回应了一个ACK报文,导致会话建立失败,具体交互如下图: ![图片说明](https://img-ask.csdn.net/upload/201905/13/1557714774_94013.png) 搞不懂是服务器没释放端口,还是haproxy代理有问题。
Pyspider爬虫框架使用Docker部署分布式连接redis数据库,连不上?
问题是这样的,使用docker布置分布式爬虫,框架采用pyspider,消息队列使用redis数据库,但是却无法在数据库中显示消息信息, ![消息队列中无信息](https://img-ask.csdn.net/upload/201708/25/1503657665_307805.png) 求解! 代码如下: 单点redis 虚拟机上命令行部署:ip 192.168.0.137 ``` docker run --name mysql -d -p 192.168.0.137:3306:3306 -e MYSQL_ROOT_PASSWORD=root1234 mysql:latest docker run -d --name redis -p 192.168.0.137:6379:6379 --restart=always redis:latest docker run --name phantomjs -m 512m -d -e EXCLUDE_PORTS=5000,23333,24444 -p 192.168.0.137:25555:5000 --restart=always cecil/pyspider:add_mysql docker run --name phantomjs-lb -d --link phantomjs --restart=always dockercloud/haproxy:latest docker run --name fetcher -m 128m -d --link phantomjs-lb:phantomjs -e EXCLUDE_PORTS=5000,25555,23333 --restart=always cecil/pyspider:add_mysql \ **--message-queue "redis://192.168.0.137:6379/1"** \ --phantomjs-proxy "phantomjs:80" \ fetcher --xmlrpc docker run --name fetcher-lb -d --link fetcher --restart=always dockercloud/haproxy:latest docker run --name processor -m 256m -d --restart=always cecil/pyspider:add_mysql \ --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \ --message-queue "redis://192.168.0.137:6379/2" docker run --name processor-lb -d --link processor --restart=always dockercloud/haproxy:latest docker run --name scheduler -d -p 192.168.0.137:23333:23333 --restart=always cecil/pyspider:add_mysql \ --taskdb "mysql+taskdb://root:root1234@192.168.0.137:3306/taskdb" \ --resultdb "mysql+resultdb://root:root1234@192.168.0.137:3306/resultdb" \ --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \ --message-queue "redis://192.168.0.137:6379/3" \ scheduler --inqueue-limit 5000 --delete-time 43200 docker run --name result_worker -m 256m -d --restart=always cecil/pyspider:add_mysql \ --taskdb "mysql+taskdb://root:root1234@192.168.0.137:3306/taskdb" \ --resultdb "mysql+resultdb://root:root1234@192.168.0.137:3306/resultdb" \ --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \ --message-queue "redis://192.168.0.137:6379/4" docker run --name webui -m 256m -d -p 192.168.0.137:5000:5000 -e EXCLUDE_PORTS=24444,25555,23333 --link fetcher-lb:fetcher --restart=always cecil/pyspider:add_mysql \ --taskdb "mysql+taskdb://root:root1234@192.168.0.137:3306/taskdb" \ --resultdb "mysql+resultdb://root:root1234@192.168.0.137:3306/resultdb" \ --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \ --message-queue "redis://192.168.0.137:6379/5" \ webui --username "root" --password "123456" --need-auth --max-rate 0.2 --max-burst 2 --scheduler-rpc "http://192.168.0.137:23333/" --fetcher-rpc http://fetcher/ ``` 其中重点是若干redis数据库语句, ``` --message-queue "redis://192.168.0.137:6379/4" ``` 是否有误?
PHP Filesystem 函数,怎么把整篇txt文件 打开,然后修改保存?
要是数据库增删改查,简单多了。要是替换某些文字,我也会了。但是把把整篇txt文件 打开,然后修改保存,测试一直失败。大神帮看看代码。 //这是,可以把Hello替换成Hi。 ``` <?php $data = file_get_contents('/etc/haproxy/welcome.cfg'); $data_new = str_replace("Hello", "Hi", $data); $fp = fopen('/etc/haproxy/welcome.cfg', 'r+'); fwrite($fp, $data_new); fclose($fp); ?> ``` //这是错误,根本一开始都不能执行。 ``` <?php $1="Hello"; $2="Hi"; $data = file_get_contents('/etc/haproxy/welcome.cfg'); $data_new = str_replace("$1", "$2", $data); $fp = fopen('/etc/haproxy/welcome.cfg', 'r+'); fwrite($fp, $data_new); fclose($fp); ?> ```
爬虫福利二 之 妹子图网MM批量下载
爬虫福利一:27报网MM批量下载    点击 看了本文,相信大家对爬虫一定会产生强烈的兴趣,激励自己去学习爬虫,在这里提前祝:大家学有所成! 目标网站:妹子图网 环境:Python3.x 相关第三方模块:requests、beautifulsoup4 Re:各位在测试时只需要将代码里的变量 path 指定为你当前系统要保存的路径,使用 python xxx.py 或IDE运行即可。
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、PDF搜索网站推荐 对于大部
毕业设计 微信小程序 音乐播放器
大学室友根据网易云的API自己制作的微信小程序,获得校级优秀毕业设计(如果你是大佬请绕行),下面简单介绍一下: 根据多次的使用不同的音乐APP发现,网易云音乐的页面设计最适合作为本微信小程序的页面基础模板。由于本作品是微信小程序,就需要剔除APP中的各种冗余的功能,页面设计也需要尽可能的简单直接,内容也要充实。然后根据以上几点,对应用的功能模块进行大量的分析与重构...
想查看微信好友撤回的消息?Python帮你搞定
要说微信最让人恶心的发明,消息撤回绝对能上榜。 比如你现在正和女朋友用微信聊着天,或者跟自己喜欢的女孩子聊着天,一个不留神,你没注意到对方发的消息就被她及时撤回了,这时你很好奇,好奇她到底发了什么?于是你打算问问她发了什么,结果她回一句"没什么"。这一回复,让你的好奇心更加强烈了,顿时就感觉消息撤回这一功能就是用来折磨人的。 那么有没有什么办法能够知道你心爱的她(他)到底撤回了什么呢?不要着急,P...
程序员必备的8个学习工具
取其精华,去其糟粕
2019年12月中国编程语言排行榜
2019年12月4日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.60% 2 c/c++ 16.58% 3 c# 12.59% 4 javascript 12.21% 5 python 7.96% 6 go 7.19% 7 php ...
拼不过 GO?阿里如何重塑云上的 Java
阿里妹导读:Java 诞生于20年前,拥有大量优秀的企业级框架,践行 OOP 理念,更多体现的是严谨以及在长时间运行条件下的稳定性和高性能。反观如今,在要求快速迭代交付的云场景下,语言的简单性似乎成了首要的要求,而传统的 Java 语言显得有一些过于重量了。今天,阿里 JVM 团队技术专家郁磊(花名:梁希)分享 JVM 团队是如何面对和处理集团巨大的业务规模和复杂的业务场景的。 音乐无国...
Java知识体系最强总结(2020版)
更新于2020-01-05 18:08:00 本人从事Java开发已多年,平时有记录问题解决方案和总结知识点的习惯,整理了一些有关Java的知识体系,这不是最终版,会不定期的更新。也算是记录自己在从事编程工作的成长足迹,通过博客可以促进博主与阅读者的共同进步,结交更多志同道合的朋友。特此分享给大家,本人见识有限,写的博客难免有错误或者疏忽的地方,还望各位大佬指点,在此表示感激不尽。 整理的Ja
一个“/”键,封锁了整个互联网
正所谓无BUG不生活,从你含辛茹苦地码着第一行代码开始,bug就如影随形。 其实,bug 被自己或者是测试人员发现都是好事;但如果是被用户发现,又或者导致了客户和公司的巨额损失……这些未知后果,就如同悬在头顶的一把利刃,让人脊背发凉…… 但一个小小的bug,可能带给你惊吓,也可能带来惊喜。接下来,我们就来看看 bug 都能带来哪些意想不到的影响呢? 1.来自 Amazon 的圣诞大礼包~ 201...
计算机专业的书普遍都这么贵,你们都是怎么获取资源的?
介绍几个可以下载编程电子书籍的网站。 1.Github Github上编程书资源很多,你可以根据类型和语言去搜索。推荐几个热门的: free-programming-books-zh_CN:58K 星的GitHub,编程语言、WEB、函数、大数据、操作系统、在线课程、数据库相关书籍应有尽有,共有几百本。 Go语言高级编程:涵盖CGO,Go汇编语言,RPC实现,Protobuf插件实现,Web框架实
自学系列 | 就谈兴趣!
最近接到很多读者的私信,基本都是有关方向的选择上以及如何自学上,还有部分读者问到有关前端的方向,能不能详细写写如果从零学习,能够达到找工作的标准。而且这个自学能力是我们一辈子的生存技能,无论干什么,都离开这种能力,这是毋容置疑的。 之前有关自学的文章确实挺零散的,而且还不够详细。所以小鹿打算利用业余时间把如何自学写成一整个系列《如何成为一个优秀的自学者》。写之前呢,希望我们每个人先放下心中的执念...
卸载 x 雷某度!GitHub 标星 1.5w+,从此我只用这款全能高速下载工具!
作者 | Rocky0429 来源 | Python空间 大家好,我是 Rocky0429,一个喜欢在网上收集各种资源的蒟蒻… 网上资源眼花缭乱,下载的方式也同样千奇百怪,比如 BT 下载,磁力链接,网盘资源等等等等,下个资源可真不容易,不一样的方式要用不同的下载软件,因此某比较有名的 x 雷和某度网盘成了我经常使用的工具。 作为一个没有钱的穷鬼,某度网盘几十 kb 的下载速度让我
毕业5年,我问遍了身边的大佬,总结了他们的学习方法
你知道的越多,你不知道的越多 点赞再看,养成习惯 本文 GitHub https://github.com/JavaFamily 已收录,有一线大厂面试点思维导图,也整理了很多我的文档,欢迎Star和完善,大家面试可以参照考点复习,希望我们一起有点东西。 前言 很多次小伙伴问到学习方法,我也很想写这样的一篇文章来跟大家讨论下关于学习方法这件事情。 其实学习方法这个事情,我没啥发言权
推荐10个堪称神器的学习网站
每天都会收到很多读者的私信,问我:“二哥,有什么推荐的学习网站吗?最近很浮躁,手头的一些网站都看烦了,想看看二哥这里有什么新鲜货。” 今天一早做了个恶梦,梦到被老板辞退了。虽然说在我们公司,只有我辞退老板的份,没有老板辞退我这一说,但是还是被吓得 4 点多都起来了。(主要是因为我掌握着公司所有的核心源码,哈哈哈) 既然 4 点多起来,就得好好利用起来。于是我就挑选了 10 个堪称神器的学习网站,推
这些软件太强了,Windows必装!尤其程序员!
Windows可谓是大多数人的生产力工具,集娱乐办公于一体,虽然在程序员这个群体中都说苹果是信仰,但是大部分不都是从Windows过来的,而且现在依然有很多的程序员用Windows。 所以,今天我就把我私藏的Windows必装的软件分享给大家,如果有一个你没有用过甚至没有听过,那你就赚了......,这可都是提升你幸福感的高效率生产力工具哦! 走起!...... NO、1 ScreenToGif 屏幕,摄像头和
还看不懂同事代码?快来补一波 Java 7 语法特性
前言 Java 平台自出现到目前为止,已经 20 多个年头了,这 20 多年间 Java 也一直作为最流行的程序设计语言之一,不断面临着其他新兴编程语言的挑战与冲击。Java 语言是一种静态强类型语言,这样的语言特性可以让 Java 编译器在编译阶段发现错误,这对于构建出一个稳定安全且健壮的应用来说,尤为重要。但是也因为这种特性,让 Java 开发似乎变得缺少灵活性,开发某些功能的应用时,代码量可...
为什么TCP建立连接协议是三次握手,而关闭连接却是四次挥手呢?
看到了一道面试题:“为什么TCP建立连接协议是三次握手,而关闭连接却是四次握手呢?为什么不能用两次握手进行连接?”,想想最近也到金三银四了,所以就查阅了相关资料,整理出来了这篇文章,希望对你们有所帮助。 TCP 连接 我们先来补一下基础什么是 TCP 协议?传输控制协议( Transmission Control Protocol, TCP )是种面向连接、确保数据在端到端间可靠传输的协议。面向连...
大学四年因为知道了这32个网站,我成了别人眼中的大神!
依稀记得,毕业那天,我们导员发给我毕业证的时候对我说“你可是咱们系的风云人物啊”,哎呀,别提当时多开心啦......,嗯,我们导员是所有导员中最帅的一个,真的...... 不过,导员说的是实话,很多人都叫我大神的,为啥,因为我知道这32个网站啊,你说强不强......,这次是绝对的干货,看好啦,走起来! PS:每个网站都是学计算机混互联网必须知道的,真的牛杯,我就不过多介绍了,大家自行探索,觉得没用的,尽管留言吐槽吧?
看完这篇HTTP,跟面试官扯皮就没问题了
我是一名程序员,我的主要编程语言是 Java,我更是一名 Web 开发人员,所以我必须要了解 HTTP,所以本篇文章就来带你从 HTTP 入门到进阶,看完让你有一种恍然大悟、醍醐灌顶的感觉。 最初在有网络之前,我们的电脑都是单机的,单机系统是孤立的,我还记得 05 年前那会儿家里有个电脑,想打电脑游戏还得两个人在一个电脑上玩儿,及其不方便。我就想为什么家里人不让上网,我的同学 xxx 家里有网,每
阿里程序员写了一个新手都写不出的低级bug,被骂惨了。
你知道的越多,你不知道的越多 点赞再看,养成习惯 本文 GitHub https://github.com/JavaFamily 已收录,有一线大厂面试点思维导图,也整理了很多我的文档,欢迎Star和完善,大家面试可以参照考点复习,希望我们一起有点东西。 前前言 为啥今天有个前前言呢? 因为你们的丙丙啊,昨天有牌面了哟,直接被微信官方推荐,知乎推荐,也就仅仅是还行吧(心里乐开花)
2020年,冯唐49岁:我给20、30岁IT职场年轻人的建议
点击“技术领导力”关注∆每天早上8:30推送 作者|Mr.K 编辑| Emma 来源|技术领导力(ID:jishulingdaoli) 前天的推文《冯唐:职场人35岁以后,方法论比经验重要》,收到了不少读者的反馈,觉得挺受启发。其实,冯唐写了不少关于职场方面的文章,都挺不错的。可惜大家只记住了“春风十里不如你”、“如何避免成为油腻腻的中年人”等不那么正经的文章。 本文整理了冯...
一文带你看清 HTTP 所有概念
上一篇文章我们大致讲解了一下 HTTP 的基本特征和使用,大家反响很不错,那么本篇文章我们就来深究一下 HTTP 的特性。我们接着上篇文章没有说完的 HTTP 标头继续来介绍(此篇文章会介绍所有标头的概念,但没有深入底层) HTTP 标头 先来回顾一下 HTTP1.1 标头都有哪几种 HTTP 1.1 的标头主要分为四种,通用标头、实体标头、请求标头、响应标头,现在我们来对这几种标头进行介绍 通用
世界上有哪些代码量很少,但很牛逼很经典的算法或项目案例?
点击上方蓝字设为星标下面开始今天的学习~今天分享四个代码量很少,但很牛逼很经典的算法或项目案例。1、no code 项目地址:https://github.com/kelseyhight...
作为一个程序员,CPU的这些硬核知识你必须会!
CPU对每个程序员来说,是个既熟悉又陌生的东西? 如果你只知道CPU是中央处理器的话,那可能对你并没有什么用,那么作为程序员的我们,必须要搞懂的就是CPU这家伙是如何运行的,尤其要搞懂它里面的寄存器是怎么一回事,因为这将让你从底层明白程序的运行机制。 随我一起,来好好认识下CPU这货吧 把CPU掰开来看 对于CPU来说,我们首先就要搞明白它是怎么回事,也就是它的内部构造,当然,CPU那么牛的一个东
破14亿,Python分析我国存在哪些人口危机!
2020年1月17日,国家统计局发布了2019年国民经济报告,报告中指出我国人口突破14亿。 猪哥的朋友圈被14亿人口刷屏,但是很多人并没有看到我国复杂的人口问题:老龄化、男女比例失衡、生育率下降、人口红利下降等。 今天我们就来分析一下我们国家的人口数据吧! 更多有趣分析教程,扫描下方二维码关注vx公号「裸睡的猪」 即可查看! 一、背景 1.人口突破14亿 2020年1月17日,国家统计局发布
Python实战:抓肺炎疫情实时数据,画2019-nCoV疫情地图
今天,群里白垩老师问如何用python画武汉肺炎疫情地图。白垩老师是研究海洋生态与地球生物的学者,国家重点实验室成员,于不惑之年学习python,实为我等学习楷模。先前我并没有关注武汉肺炎的具体数据,也没有画过类似的数据分布图。于是就拿了两个小时,专门研究了一下,遂成此文。
面试官问你MyBatis SQL是如何执行的?把这篇文章甩给他
初识 MyBatis MyBatis 是第一个支持自定义 SQL、存储过程和高级映射的类持久框架。MyBatis 消除了大部分 JDBC 的样板代码、手动设置参数以及检索结果。MyBatis 能够支持简单的 XML 和注解配置规则。使 Map 接口和 POJO 类映射到数据库字段和记录。 MyBatis 的特点 那么 MyBatis 具有什么特点呢?或许我们可以从如下几个方面来描述 MyBati...
作为一个程序员,内存和磁盘的这些事情,你不得不知道啊!!!
截止目前,我已经分享了如下几篇文章: 一个程序在计算机中是如何运行的?超级干货!!! 作为一个程序员,CPU的这些硬核知识你必须会! 作为一个程序员,内存的这些硬核知识你必须懂! 这些知识可以说是我们之前都不太重视的基础知识,可能大家在上大学的时候都学习过了,但是嘞,当时由于老师讲解的没那么有趣,又加上这些知识本身就比较枯燥,所以嘞,大家当初几乎等于没学。 再说啦,学习这些,也看不出来有什么用啊!
相关热词 c#判断数字不得为负数 c#帧和帧协议 c#算偏移值 c# 在枚举中 c#6 字符串 插值 c#程序中的占位符标签 c#监听数组变化 c# vlc c#索引实现 c# 局域网广播通信
立即提问