haproxy 做rabbitmq的集群负载均衡和高可用如果保持tcp长连接

我利用haproxy+rabbitmq搭建了一个消息队列的集群,
haproxy为我提供集群的高可用和负载均衡,但是我发现haproxy的配置要求必须配置
客户端连接和服务端连接的超时时间,这就有一个问题,因为客户端监听消息队列需要长久保持一个连接,但是haproxy却在客户端连接一段时间没有消息后就会断开连接,这样就没办法保证我的队列监听程序能够持续连接,这个应该怎么办?

2个回答

自己找到答案了,原来是可以不配置超时时间的,只是在启动的时候会发出警告,我以为这个警告会导致程序启动失败,实际上程序已经启动成功,并且可以用了,只是会给你警告而已,忽略就好了。

楼主,我使用的是负载均衡的后端mosquitto,连接打印机的,所以连接不能断,想主机宕机了才转发到别的机子上。这个怎么实现的?求指点

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
rabbitmq普通集群(3节点)+haproxy,节点无规律宕掉
现在生产上有一个rabbitmq(RabbitMQ 3.6.3, Erlang 18.1),三个节点,普通集群,集群前面有一个haproxy进行负载均衡,最近发现集群中的三个节点会随机出现宕掉的情况,影响业务。 下面是haproxy的配置 ``` global log 127.0.0.1 local0 log 127.0.0.1 local2 info maxconn 4096 user haproxy group haproxy daemon pidfile /var/run/haproxy.pid defaults log global mode tcp option tcplog option dontlognull #保证HAProxy不记录上级负载均衡发送过来的用于检测状态没有数据的心跳包 retries 3 #重试次数 option redispatch maxconn 4096 #最大连接数 #balance source #如果想让HAProxy按照客户端的IP地址进行负载均衡策略,即同一IP地址的所有请求都发送到同一服务器时需要配置此选项 balance leastconn timeout connect 5000 timeout client 70000 timeout server 70000 listen admin_stat #haproxy的web管理端口 8888,自行设置 bind 0.0.0.0:8888 mode http stats refresh 30s #haproxy web管理url,自行设置 stats uri /haproxy_stats stats realm Haproxy\ Statistics #haproxy web管理用户名密码,自行设置 stats auth admin:Byb1Asr9 stats hide-version listen rabbitmq #监听5672端口(如果haproxy安装在集群节点上时请选择非5672端口如5670),并转发给三个节点的5672端口,采用轮询策略 bind 0.0.0.0:5672 mode tcp balance roundrobin server rabbitmq-1 192.168.1.15:5672 check inter 2000 rise 2 fall 3 server rabbitmq-2 192.168.1.16:5672 check inter 2000 rise 2 fall 3 server rabbitmq-3 192.168.1.17:5672 check inter 2000 rise 2 fall 3 ``` 下图是rabbitmq的信息 ![图片说明](https://img-ask.csdn.net/upload/201806/07/1528360511_731929.jpg) 节点宕掉的时候,在节点的mq日志(rabbitmq@mq1.log)里只能看到下面的信息,没有其他的错误信息 在系统的/var/log/message这个时间段,没有出现错误。 ``` =INFO REPORT==== 5-Jun-2018::01:30:09 === accepting AMQP connection <0.227.33> (192.168.1.7:43276 -> 192.168.1.16:5672) =INFO REPORT==== 5-Jun-2018::01:30:09 === accepting AMQP connection <0.224.33> (192.168.1.7:43279 -> 192.168.1.16:5672) =INFO REPORT==== 5-Jun-2018::01:30:09 === accepting AMQP connection <0.294.33> (192.168.1.7:43282 -> 192.168.1.16:5672) =WARNING REPORT==== 6-Jun-2018::12:18:07 === closing AMQP connection <0.227.33> (192.168.1.7:43276 -> 192.168.1.16:5672): client unexpectedly closed TCP connection =INFO REPORT==== 6-Jun-2018::19:14:47 === rabbit on node rabbit@mq1 down =INFO REPORT==== 6-Jun-2018::19:14:47 === accepting AMQP connection <0.16310.70> (192.168.1.7:42508 -> 192.168.1.16:5672) =INFO REPORT==== 6-Jun-2018::19:14:47 === accepting AMQP connection <0.16320.70> (192.168.1.7:42511 -> 192.168.1.16:5672) =INFO REPORT==== 6-Jun-2018::19:14:48 === accepting AMQP connection <0.16390.70> (192.168.1.7:42514 -> 192.168.1.16:5672) =INFO REPORT==== 6-Jun-2018::19:14:48 === Statistics event collector started. ``` 在/var/log/secure里宕掉的时间点有如下日志,其他的信息都没有了: ``` Jun 6 19:14:48 mq1 su: pam_unix(su:session): session closed for user rabbitmq ``` 想问一下,各位,有没有谁碰到类似的问题,或者能否提供一些解析问题的思路?谢谢了
keepalived+haproxy实现高可用负载均衡
大家好!我有3台linux服务器。1台装haproxy,另外2台做后端,装speedtest测速客户端(需要开80和8080)。 设计是实现主备。有以下两个问题 请大家帮着解答下。 1)两台后端服务器在公网不同网段,能实现keepalived主备吗(据说keepalived基于vrrp 只能同网段) 2)如果采取负载均衡技术实现主备。负载均衡器服务器没有装speedtest客户端,会提示检测不到speedtest客户端(我设计的是后端两台服务器装speedtest客户端做负载主备。如果负载均衡器服务器上安装speedtest客户端,app会直接用该服务器服务,失去主备设计意义)。请问我这种构思能实现吗 还是说负载均衡器只是单纯转发流量 ,不能实现我想要的功能。 如果1、2都无法实现我的功能,有没有可行的替代方案。 谢谢大家!
keepalived和haproxy必须装在一台主机上吗?
keepalived和haproxy必须装在一台主机上吗? a主机的keepalived可以接管b主机的haproxy吗?
haproxy rabbitMQ 问题
环境声明: 已经安装好haproxy 已经搭建好rabbitMQ集群 win7平台 haproxy配置文件如下: ``` global log 127.0.0.1 local0 info maxconn 4096 stats socket /tmp/haproxy.socket uid haproxy mode 770 level admin daemon #pidfile /var/run/haproxy.pid defaults log global mode http retries 2 option tcplog option dontlognull # option redispatch # option abortonclose maxconn 2000 timeout connect 5s timeout client 120s timeout server 120s listen rabbitmq_cluster bind 0.0.0.0:5670 mode http balance roundrobin server rabbit 127.0.0.1:5672 check inter 5000 rise 2 fall 3 server rabbit_1 127.0.0.1:5673 check inter 5000 rise 2 fall 3 server rabbit_2 127.0.0.1:5674 check inter 5000 rise 2 fall 3 listen private_monitoring :8100 mode http option httplog stats enable stats uri /haproxy/admin stats auth admin:admin stats refresh 10s ``` 尚敏的而配置中已经将haproxy面向前端访问的端口设置成了5670 我在本地(win7)通过telnet检测过远程haproxy的5670端口,是通的 但是,我用java客户端链接haproxy负载时,始终报连接超时 代码如下: ``` package com.rabbitmq.cluster_test; import java.io.IOException; import java.util.concurrent.TimeoutException; import com.rabbitmq.client.Channel; import com.rabbitmq.client.Connection; import com.rabbitmq.client.ConnectionFactory; import com.rabbitmq.client.ConsumerCancelledException; import com.rabbitmq.client.QueueingConsumer; import com.rabbitmq.client.QueueingConsumer.Delivery; import com.rabbitmq.client.ShutdownSignalException; public class Consumer extends Thread { private static final String EXCHANGE_NAME = "exchange_name"; private static final String ROUTING_KEY = "routing_key"; private static final String QUEUE_NAME = "queue_name"; private static Connection conn = null; static{ ConnectionFactory factory = new ConnectionFactory(); factory.setHost("192.168.95.131"); factory.setPort(5670); factory.setUsername("guest"); factory.setPassword("guest"); factory.setVirtualHost("/"); try { conn = factory.newConnection(); } catch (IOException | TimeoutException e) { e.printStackTrace(); } } @Override public void run() { try { Channel channel = conn.createChannel(); // channel.exchangeDeclare(EXCHANGE_NAME, "topic"); channel.queueDeclare(QUEUE_NAME, false, true, true, null); channel.queueBind(QUEUE_NAME, EXCHANGE_NAME, ROUTING_KEY); QueueingConsumer consumer = new QueueingConsumer(channel); channel.basicConsume(QUEUE_NAME, false, consumer); while(true){ try { Delivery delivery = consumer.nextDelivery(); String msg = new String(delivery.getBody()); System.out.println("msg = "+msg); Long tag = delivery.getEnvelope().getDeliveryTag(); channel.basicAck(tag, false); } catch (ShutdownSignalException | ConsumerCancelledException | InterruptedException e) { e.printStackTrace(); } } } catch (IOException e) { e.printStackTrace(); } } } ``` 报错为: ``` java.util.concurrent.TimeoutException at com.rabbitmq.utility.BlockingCell.get(BlockingCell.java:76) at com.rabbitmq.utility.BlockingCell.uninterruptibleGet(BlockingCell.java:110) at com.rabbitmq.utility.BlockingValueOrException.uninterruptibleGetValue(BlockingValueOrException.java:36) at com.rabbitmq.client.impl.AMQChannel$BlockingRpcContinuation.getReply(AMQChannel.java:366) at com.rabbitmq.client.impl.AMQConnection.start(AMQConnection.java:292) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:824) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:778) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:868) at com.rabbitmq.cluster_test.Consumer.<clinit>(Consumer.java:30) at com.rabbitmq.cluster_test.MainTest.main(MainTest.java:9) Exception in thread "Thread-0" java.lang.NullPointerException at com.rabbitmq.cluster_test.Consumer.run(Consumer.java:39) java.io.IOException at com.rabbitmq.client.impl.AMQChannel.wrap(AMQChannel.java:105) at com.rabbitmq.client.impl.AMQChannel.wrap(AMQChannel.java:101) at com.rabbitmq.client.impl.AMQConnection.start(AMQConnection.java:349) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:824) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:778) at com.rabbitmq.client.ConnectionFactory.newConnection(ConnectionFactory.java:868) at com.rabbitmq.cluster_test.Publisher.<clinit>(Publisher.java:25) at com.rabbitmq.cluster_test.MainTest.main(MainTest.java:18) Caused by: com.rabbitmq.client.ShutdownSignalException: connection error at com.rabbitmq.utility.ValueOrException.getValue(ValueOrException.java:66) at com.rabbitmq.utility.BlockingValueOrException.uninterruptibleGetValue(BlockingValueOrException.java:36) at com.rabbitmq.client.impl.AMQChannel$BlockingRpcContinuation.getReply(AMQChannel.java:366) at com.rabbitmq.client.impl.AMQConnection.start(AMQConnection.java:292) ... 5 more Caused by: java.io.EOFException at java.io.DataInputStream.readFully(DataInputStream.java:197) at java.io.DataInputStream.readFully(DataInputStream.java:169) at com.rabbitmq.client.impl.Frame.readFrom(Frame.java:116) at com.rabbitmq.client.impl.SocketFrameHandler.readFrame(SocketFrameHandler.java:138) at com.rabbitmq.client.impl.AMQConnection$MainLoop.run(AMQConnection.java:541) at java.lang.Thread.run(Thread.java:745) Exception in thread "Thread-1" java.lang.NullPointerException at com.rabbitmq.cluster_test.Publisher.run(Publisher.java:34) ==over== 总共耗时:9.596秒 ```
负载均衡如何实现请求和响应分离
最近刚开始学习负载均衡,目前我看的有四层的LVS,七层的HAProxy,nginx。但是,看了一篇文章,里面无意提了一个事,但是却没有解决方案。 说的是 负载均衡 可以实现 请求的时候 经过前置机分发 但是 响应的时候 却直接将数据响应给客户端 这个怎么实现的哈 如果实现 对于LB主机来讲 性能会提升太多 小白求教
负载均衡的问题 ~~~~~~~~~~
目前一个部署我了解的情况:最上面是F5(部署2台,主备模式,压力最大)、然后是WEB集群(每个应用均有自己的WEB AP DB集群,里面部署apche和haproxy,没有部署任何应用逻辑)、AP集群(应用部署在这里),最后是DB。 我想了解一下具体的解析过程:以下是我的猜测,请各位专家帮忙确认下是否正确: 客户端配置的服务地址是F5的IP,客户端访问不同的N个应用(每个应用IP不一样)都会先被转到F5,F5根据访问不同应用将请求转到该应用所属的WEB集群。 WEB里apache负责接收F5的请求,然后转给haproxy,haproxy负责会话保持,将请求发给AP服务器。 AP服务器接收情况进行业务逻辑处理,同时访问数据库完成数据库操作。 有2个问题: 1、apache和haproxy都部署在WEB,具体是技术上如何实现呢(我猜测是不是apache接到F5的请求,什么都不做直接传到本机haproxy的端口上)?这样做目的是什么?为什么WEB上面需要同时部署apache和Haproxy呢?我理解WEB只部署apache或者Haproxy就可以了吧,因为apache本身就可以做反向代理和负载均衡了把。甚至可以不要WEB,直接F5给AP做负载均衡和反向代理。 2、不同应用客户端配置服务器地址都不同,我了解到配置的是F5地址,但是我们只有1个F5,一个F5可以对应多个IP?F5根据IP不同转到后面不同的web?
Haproxy+LVS高可用集群,实现之后出现调度问题
下面这些都是我在虚拟机做的实验结果-.- 有两台网站服务器,两台LVS 做网站的分发器,一台HAproxy做两台LVS的调度器 配置什么的我这就不说了。主要是完成后的结果让我感到意外。 环境 redhat6.7 LVS做的是DR模式 HA和LVS 调度算法全是 rr 权重为都为1 HA服务器 ip 192.168.4.20 and 192.168.2.20 vip地址 192.168.4.20 LVS一 ip 192.168.4.10 vip地址 192.168.4.15 LVS二 ip 192.168.2.10 vip地址 192.168.2.15 webserver 一 192.168.4.111 and 192.168.2.111 cat /var/www/html/a.html 192.168.4.111 webserver 二 192.168.4.222 and 192.168.2.222 网站内容 192.168.4.222 cat /var/www/html/a.html 192.168.4.222 做完了相关的配置之后客户端访问 192.168.4.20地址,出现了调度问题 两边的web网站我都能访问到,但是并不是均衡出现的 很乱 我看了HAweb的管理页面是轮询,我单独访问两边LVS的vip地址也没有出错,两个结合就有问题了。。 里面是不是有什么逻辑问题阿,求解!!
负载均衡 F5\Apache\haprxy 组合使用的问题。。。
目前部署和我了解情况:最上面是F5(部署2台,主备模式,压力最大)、然后是WEB集群(每个应用均有自己的WEB AP DB集群,里面部署apche和haproxy,没有部署任何应用逻辑)、AP集群(应用部署在这里),最后是DB。 我想了解一下具体的解析过程:以下是我的猜测,请各位专家帮忙确认下是否正确: 用户访问不同的N个应用(每个应用IP不一样)都会先被转到F5,F5根据访问不同应用将请求转到该应用所属的WEB集群。 WEB里apache负责接收F5的请求,然后转给haproxy,haproxy负责会话保持,将请求发给AP服务器。(apache和haproxy部署在一起,具体是如何配合工作的呢?) AP服务器接收情况进行业务逻辑处理,同时访问数据库完成数据库操作。
openwrt 设置iptables+haproxy实现https透明代理
pve下虚拟openwrt做软路由,网关为192.168.1.1。openwrt布置haproxy做代理转发。 内网用户1.247需经网关1.1被haproxy转发上网。 iptables设置如下: ``` iptables -A INPUT -p tcp --dport 443 -j ACCEPT iptables -A OUTPUT -p tcp --sport 443 -j ACCEPT iptables -A FORWARD -p tcp --dport 443 -j ACCEPT iptables -A FORWARD -p tcp --sport 443 -j ACCEPT #iptables -t nat -A PREROUTING -p tcp -s 192.168.1.247 --dport 443 -j DNAT --to 192.168.1.1:8443 iptables -t nat -A PREROUTING -p tcp -s 192.168.1.247 --dport 80 -j DNAT --to 192.168.1.1:8800 ``` haproxy 已经简单配置 ``` global defaults log global mode tcp option dontlognull timeout connect 1000 timeout client 150000 timeout server 150000 frontend ss-in bind 192.168.1.247:8443 default_backend ss-out backend ss-out server server1 x.x.x.x:xx maxconn 20480 ``` 目前的问题是访问外网http80端口可以被haproxy转发并上网,iptables 设置生效。 但是访问https 443端口的话只能被转发,haproxy能够接收,但是客户端1.247无法正常上网。 为了证实haproxy的https转发效果,把客户端1.247配置代理 ``` 服务器: 192.168.1.1 端口:8443 ``` 客户端1.247能进行正常https访问,并且经由haproxy转发工作正常。 只是单独在iptables 里配置 ``` iptables -t nat -A PREROUTING -p tcp -s 192.168.1.247 --dport 443 -j DNAT --to 192.168.1.1:8443 ``` 就是不工作。请问各位大侠,我是iptables配置不正确吗? 本人才接触网络知识,各位轻喷,请指正,谢谢!
请求502 Bad Gateway The server returned an invalid or incomplete response
liunx系统,使用Haproxy负载均衡,经常在业务高峰期请求报错:502 Bad Gateway The server returned an invalid or incomplete response 请问是啥原因了,排查不到问题了
HaProxy设置TCP Mode却无法分发给后面的服务器
我使用HaProxy作为负载平衡,版本为1.5.14 这是haproxy.cfg文件配置: global log 127.0.0.1 local2 debug chroot /var/lib/haproxy pidfile /var/run/haproxy.pid maxconn 4000 user haproxy group haproxy daemon debug default mode tcp retries 2 option redispatch option abortonclose maxconn 4096 timeout connect 5000ms timeout client 30000ms timeout server 30000ms #timeout check 2000 log 127.0.0.1 local0 debug listen app1 log 127.0.0.1 local2 debug bind 0.0.0.0:5000 mode tcp server s1 127.0.0.1:5001 check server s2 127.0.0.1:5002 check 后面的服务器我用node.js写的: var net = require('net'); var server = net.createServer(function(sv_c){ sv_c.on('error',function(err){ console.log(err); }); sv_c.on('data',function(data){ console.log(data); sv_c.write("ok"); }) sv_c.on('end',function(){ console.log('close socket'); }) console.log(sv_c.remoteAddress); console.log(sv_c.remotePort); console.log(sv_c.localAddress); console.log(sv_c.localPort); }).listen(5001); 请求程序我也是node.js写的: var net = require('net'); var client = new net.Socket(); client.on('error',function(err){ console.log(err); }); client.connect(5000,'127.0.0.1',function(){ console.log('connection'); client.write("request"); client.on('data',function(data){ console.log(data+"end"); client.end(); }) }) 我的服务器端没有收到连接,请求端返回了一段网页: HTTP/1.0 400 Bad request Cache-Control: no-cache Connection: close Content-Type: text/html <html><body><h1>400 Bad request</h1> Your browser sent an invalid request. </body></html> 我已经设置为tcp mode了呀,还有那些地方做错了吗?
haproxy reload时候-sf和-st的区别?
用-sf执行的时候,发现老进程有长连接挂着而长时间无法结束。 而-st了之后,则立刻关闭了老进程。 我理解-st(terminates)是强行关闭进程,而-sf(finishes)则是类似HUP的软关闭?
haproxy+keepalived不能访问问题
在实现haproxy的高可用过程中,利用客户端 VIP不能访问。但是如果用安装了haproxy 的server访问VIP的话能正常访问。这是怎么回事呢。请大神帮忙。 环境说明: haproxy+keepalived(192.168.5.1 master 192.168.5.10 backup) real_server(192.168.5.11 192.168.5.12) client (192.168.5.100)
mysql分布式集群的构建
想构建一个分布式集群, 想用mycat作分布式中间件,我看网上最多的是 HaProxy+keepalived+mycat的用法构建分布式集群 mycat+mysql-cluster可以吗 网上好像没有这个资料
keepalived+haproxy+mycat问题
keepalived+haproxy+mycat的使用的时候 大概十秒不做mysql操作过会在执行mysql命令会报错一下的错,不过重新连接还是能够正常运行 ERROR 2006 (HY000): MySQL server has gone away No connection. Trying to reconnect... Connection id: 2 想知道报错原因
haproxy的轮询问题,curl可以实现轮询,浏览器访问不能轮询
1、haproxy.conf global chroot /root/gaproxy/haproxy/var/chroot daemon user haproxy group haproxy log 127.0.0.1:514 local0 warning pidfile /root/gaproxy/haproxy/var/run/haproxy.pid maxconn 20000 spread-checks 3 nbproc 1 defaults log global mode http retries 3 option redispatch contimeout 5000 clitimeout 50000 srvtimeout 50000 listen oldboytest bind *:80 mode http stats enable stats hide-version stats uri /admin?status stats auth admin:oldboy123 balance roundrobin option httpclose option forwardfor cookie SERVERID insert indirect timeout server 15s timeout connect 15s server web1 192.168.1.38:80 cookie A weight 1 check port 80 inter 5000 fall 5 server web2 192.168.1.40:80 cookie B weight 2 check port 80 inter 5000 fall 5 2、用curl访问看是否轮询: 命令: for((i=0;i<10;i++));do curl http://192.168.1.37;sleep 2;done 结果:oldboy2 zhangfei zhangfei oldboy2 zhangfei zhangfei oldboy2 zhangfei zhangfei oldboy2 也实现的轮询 2、现在换成浏览器是否实现轮询: 用IE: ![图片说明](https://img-ask.csdn.net/upload/201706/08/1496852033_65391.png) 点刷新一直都只访问一个问题,不会换成另外一个页面 用世界之窗:![图片说明](https://img-ask.csdn.net/upload/201706/08/1496852085_637378.png) 也是一样,点刷新不会轮询。 问题: 我想问下,是不是我哪里配置错了,但是curl为什么又能轮询。
HTTP抓包发现请求建链,为什么服务端回应了上一个会话序号的ACK包?
服务端采用的是haproxy做代理,服务器是LIUNX系统的。 我在服务器前端抓包,发现11.168.218.23使用的源端口55462在之前14:48:33已经使用过,而该会话结束后,11.168.192.31并未将该源端口立即释放; 所以11.168.218.23在14:50:14再次使用源端口55462发送SYN包请求建链时,11.168.192.31并未正常回应SYN+ACK,而是延续上一个会话的序号,回应了一个ACK报文,导致会话建立失败,具体交互如下图: ![图片说明](https://img-ask.csdn.net/upload/201905/13/1557714774_94013.png) 搞不懂是服务器没释放端口,还是haproxy代理有问题。
Pyspider爬虫框架使用Docker部署分布式连接redis数据库,连不上?
问题是这样的,使用docker布置分布式爬虫,框架采用pyspider,消息队列使用redis数据库,但是却无法在数据库中显示消息信息, ![消息队列中无信息](https://img-ask.csdn.net/upload/201708/25/1503657665_307805.png) 求解! 代码如下: 单点redis 虚拟机上命令行部署:ip 192.168.0.137 ``` docker run --name mysql -d -p 192.168.0.137:3306:3306 -e MYSQL_ROOT_PASSWORD=root1234 mysql:latest docker run -d --name redis -p 192.168.0.137:6379:6379 --restart=always redis:latest docker run --name phantomjs -m 512m -d -e EXCLUDE_PORTS=5000,23333,24444 -p 192.168.0.137:25555:5000 --restart=always cecil/pyspider:add_mysql docker run --name phantomjs-lb -d --link phantomjs --restart=always dockercloud/haproxy:latest docker run --name fetcher -m 128m -d --link phantomjs-lb:phantomjs -e EXCLUDE_PORTS=5000,25555,23333 --restart=always cecil/pyspider:add_mysql \ **--message-queue "redis://192.168.0.137:6379/1"** \ --phantomjs-proxy "phantomjs:80" \ fetcher --xmlrpc docker run --name fetcher-lb -d --link fetcher --restart=always dockercloud/haproxy:latest docker run --name processor -m 256m -d --restart=always cecil/pyspider:add_mysql \ --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \ --message-queue "redis://192.168.0.137:6379/2" docker run --name processor-lb -d --link processor --restart=always dockercloud/haproxy:latest docker run --name scheduler -d -p 192.168.0.137:23333:23333 --restart=always cecil/pyspider:add_mysql \ --taskdb "mysql+taskdb://root:root1234@192.168.0.137:3306/taskdb" \ --resultdb "mysql+resultdb://root:root1234@192.168.0.137:3306/resultdb" \ --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \ --message-queue "redis://192.168.0.137:6379/3" \ scheduler --inqueue-limit 5000 --delete-time 43200 docker run --name result_worker -m 256m -d --restart=always cecil/pyspider:add_mysql \ --taskdb "mysql+taskdb://root:root1234@192.168.0.137:3306/taskdb" \ --resultdb "mysql+resultdb://root:root1234@192.168.0.137:3306/resultdb" \ --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \ --message-queue "redis://192.168.0.137:6379/4" docker run --name webui -m 256m -d -p 192.168.0.137:5000:5000 -e EXCLUDE_PORTS=24444,25555,23333 --link fetcher-lb:fetcher --restart=always cecil/pyspider:add_mysql \ --taskdb "mysql+taskdb://root:root1234@192.168.0.137:3306/taskdb" \ --resultdb "mysql+resultdb://root:root1234@192.168.0.137:3306/resultdb" \ --projectdb "mysql+projectdb://root:root1234@192.168.0.137:3306/projectdb" \ --message-queue "redis://192.168.0.137:6379/5" \ webui --username "root" --password "123456" --need-auth --max-rate 0.2 --max-burst 2 --scheduler-rpc "http://192.168.0.137:23333/" --fetcher-rpc http://fetcher/ ``` 其中重点是若干redis数据库语句, ``` --message-queue "redis://192.168.0.137:6379/4" ``` 是否有误?
PHP Filesystem 函数,怎么把整篇txt文件 打开,然后修改保存?
要是数据库增删改查,简单多了。要是替换某些文字,我也会了。但是把把整篇txt文件 打开,然后修改保存,测试一直失败。大神帮看看代码。 //这是,可以把Hello替换成Hi。 ``` <?php $data = file_get_contents('/etc/haproxy/welcome.cfg'); $data_new = str_replace("Hello", "Hi", $data); $fp = fopen('/etc/haproxy/welcome.cfg', 'r+'); fwrite($fp, $data_new); fclose($fp); ?> ``` //这是错误,根本一开始都不能执行。 ``` <?php $1="Hello"; $2="Hi"; $data = file_get_contents('/etc/haproxy/welcome.cfg'); $data_new = str_replace("$1", "$2", $data); $fp = fopen('/etc/haproxy/welcome.cfg', 'r+'); fwrite($fp, $data_new); fclose($fp); ?> ```
相见恨晚的超实用网站
搞学习 知乎:www.zhihu.com 简答题:http://www.jiandati.com/ 网易公开课:https://open.163.com/ted/ 网易云课堂:https://study.163.com/ 中国大学MOOC:www.icourse163.org 网易云课堂:study.163.com 哔哩哔哩弹幕网:www.bilibili.com 我要自学网:www.51zxw
爬虫福利二 之 妹子图网MM批量下载
爬虫福利一:27报网MM批量下载    点击 看了本文,相信大家对爬虫一定会产生强烈的兴趣,激励自己去学习爬虫,在这里提前祝:大家学有所成! 目标网站:妹子图网 环境:Python3.x 相关第三方模块:requests、beautifulsoup4 Re:各位在测试时只需要将代码里的变量 path 指定为你当前系统要保存的路径,使用 python xxx.py 或IDE运行即可。
字节跳动视频编解码面经
引言 本文主要是记录一下面试字节跳动的经历。 三四月份投了字节跳动的实习(图形图像岗位),然后hr打电话过来问了一下会不会opengl,c++,shador,当时只会一点c++,其他两个都不会,也就直接被拒了。 七月初内推了字节跳动的提前批,因为内推没有具体的岗位,hr又打电话问要不要考虑一下图形图像岗,我说实习投过这个岗位不合适,不会opengl和shador,然后hr就说秋招更看重基础。我当时
开源一个功能完整的SpringBoot项目框架
福利来了,给大家带来一个福利。 最近想了解一下有关Spring Boot的开源项目,看了很多开源的框架,大多是一些demo或者是一个未成形的项目,基本功能都不完整,尤其是用户权限和菜单方面几乎没有完整的。 想到我之前做的框架,里面通用模块有:用户模块,权限模块,菜单模块,功能模块也齐全了,每一个功能都是完整的。 打算把这个框架分享出来,供大家使用和学习。 为什么用框架? 框架可以学习整体
源码阅读(19):Java中主要的Map结构——HashMap容器(下1)
(接上文《源码阅读(18):Java中主要的Map结构——HashMap容器(中)》) 3.4.4、HashMap添加K-V键值对(红黑树方式) 上文我们介绍了在HashMap中table数组的某个索引位上,基于单向链表添加新的K-V键值对对象(HashMap.Node&lt;K, V&gt;类的实例),但是我们同时知道在某些的场景下,HashMap中table数据的某个索引位上,数据是按照红黑树
c++制作的植物大战僵尸,开源,一代二代结合游戏
    此游戏全部由本人自己制作完成。游戏大部分的素材来源于原版游戏素材,少部分搜集于网络,以及自己制作。 此游戏为同人游戏而且仅供学习交流使用,任何人未经授权,不得对本游戏进行更改、盗用等,否则后果自负。 目前有六种僵尸和六种植物,植物和僵尸的动画都是本人做的。qq:2117610943 开源代码下载 提取码:3vzm 点击下载--&gt; 11月28日 新增四种植物 统一植物画风,全部修
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过
Python——画一棵漂亮的樱花树(不同种樱花+玫瑰+圣诞树喔)
最近翻到一篇知乎,上面有不少用Python(大多是turtle库)绘制的树图,感觉很漂亮,我整理了一下,挑了一些我觉得不错的代码分享给大家(这些我都测试过,确实可以生成喔~) one 樱花树 动态生成樱花 效果图(这个是动态的): 实现代码 import turtle as T import random import time # 画樱花的躯干(60,t) def Tree(branch
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 顺便拉下票,我在参加csdn博客之星竞选,欢迎投票支持,每个QQ或者微信每天都可以投5票,扫二维码即可,http://m234140.nofollow.ax.
Python 基础(一):入门必备知识
目录1 标识符2 关键字3 引号4 编码5 输入输出6 缩进7 多行8 注释9 数据类型10 运算符10.1 常用运算符10.2 运算符优先级 1 标识符 标识符是编程时使用的名字,用于给变量、函数、语句块等命名,Python 中标识符由字母、数字、下划线组成,不能以数字开头,区分大小写。 以下划线开头的标识符有特殊含义,单下划线开头的标识符,如:_xxx ,表示不能直接访问的类属性,需通过类提供
深度学习图像算法在内容安全领域的应用
互联网给人们生活带来便利的同时也隐含了大量不良信息,防范互联网平台有害内容传播引起了多方面的高度关注。本次演讲从技术层面分享网易易盾在内容安全领域的算法实践经验,包括深度学习图
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 欢迎 改进 留言。 演示地点跳到演示地点 html代码如下`&lt;!DOCTYPE html&gt; &lt;html&gt; &lt;head&gt; &lt;title&gt;music&lt;/title&gt; &lt;meta charset="utf-8"&gt
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。 1. for - else 什么?不是 if 和 else 才
数据库优化 - SQL优化
前面一篇文章从实例的角度进行数据库优化,通过配置一些参数让数据库性能达到最优。但是一些“不好”的SQL也会导致数据库查询变慢,影响业务流程。本文从SQL角度进行数据库优化,提升SQL运行效率。 判断问题SQL 判断SQL是否有问题时可以通过两个表象进行判断: 系统级别表象 CPU消耗严重 IO等待严重 页面响应时间过长
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 c/c++ 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7
通俗易懂地给女朋友讲:线程池的内部原理
餐厅的约会 餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”我楞了一下,心里想女朋友今天是怎么了,怎么突然问出这么专业的问题,但做为一个专业人士在女朋友面前也不能露怯啊,想了一下便说:“我先给你讲讲我前同事老王的故事吧!” 大龄程序员老王 老王是一个已经北漂十多年的程序员,岁数大了,加班加不动了,升迁也无望,于是拿着手里
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹
面试官:你连RESTful都不知道我怎么敢要你?
面试官:了解RESTful吗? 我:听说过。 面试官:那什么是RESTful? 我:就是用起来很规范,挺好的 面试官:是RESTful挺好的,还是自我感觉挺好的 我:都挺好的。 面试官:… 把门关上。 我:… 要干嘛?先关上再说。 面试官:我说出去把门关上。 我:what ?,夺门而去 文章目录01 前言02 RESTful的来源03 RESTful6大原则1. C-S架构2. 无状态3.统一的接
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
致 Python 初学者
欢迎来到“Python进阶”专栏!来到这里的每一位同学,应该大致上学习了很多 Python 的基础知识,正在努力成长的过程中。在此期间,一定遇到了很多的困惑,对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言,从2009年开始单一使用 python 应对所有的开发工作,直至今天。回顾自己的学习过程,也曾经遇到过无数的困难,也曾经迷茫过、困惑过。开办这个专栏,正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你
Python 编程实用技巧
Python是一门很灵活的语言,也有很多实用的方法,有时候实现一个功能可以用多种方法实现,我这里总结了一些常用的方法,并会持续更新。
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
程序员:我终于知道post和get的区别
是一个老生常谈的话题,然而随着不断的学习,对于以前的认识有很多误区,所以还是需要不断地总结的,学而时习之,不亦说乎
"狗屁不通文章生成器"登顶GitHub热榜,分分钟写出万字形式主义大作
GitHub 被誉为全球最大的同性交友网站,……,陪伴我们已经走过 10+ 年时间,它托管了大量的软件代码,同时也承载了程序员无尽的欢乐。 万字申请,废话报告,魔幻形式主义大作怎么写?兄dei,狗屁不通文章生成器了解一下。这个富有灵魂的项目名吸引了众人的目光。项目仅仅诞生一周,便冲上了GitHub趋势榜榜首(Js中文网 -前端进阶资源教程)、是榜首哦
推荐几款比较实用的工具,网站
1.盘百度PanDownload 这个云盘工具是免费的,可以进行资源搜索,提速(偶尔会抽风????) 不要去某站买付费的???? PanDownload下载地址 2.BeJSON 这是一款拥有各种在线工具的网站,推荐它的主要原因是网站简洁,功能齐全,广告相比其他广告好太多了 bejson网站 3.二维码美化 这个网站的二维码美化很好看,网站界面也很...
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU...
相关热词 如何提升c#开发能力 矩阵乘法c# c#调用谷歌浏览器 c# 去空格去转义符 c#用户登录窗体代码 c# 流 c# linux 可视化 c# mvc 返回图片 c# 像素空间 c# 日期 最后一天
立即提问