activemq集群吞吐量太小500t/s 5C

目前我搭建了两台集群88/89,生产者向88发送queue,消费者在89消费。
发现每秒在500左右,非常低。 如果在88上消费,可以达到1W每秒。
以下是activemq.xml桥接配置

 <networkConnector name="broker1-broker0" uri="static:(auto+nio://192.168.180.88:61613)" conduitSubscriptions="false" duplex="false" staticBridge="false">
</networkConnector>

补充下消费者无论单线程消费,或者使用spring多线程消费,依然没有提高速度。

0

1个回答

确实很奇怪。
按理说,走了nc,消费两次,但是不至于差20倍,
可以把完整的配置发给我吗?
kimmking@163.com

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
kafka shutdown停止关闭很慢问题的解决方案
kafka shutdown停止很慢问题 在数据量大的时候,consumer一次抓取数据的数据很多,进入到业务处理的数据可能有很多, 假设一次poll有1万条数据进入业务程序,而且业务程序是和poll绑定在一起线程同步执行的,假设平均每条数据,执行业务程序花费100ms, 那么poll一次的数据,至少要执行 1w*0.1s = 1000s = 16.67分钟。
Activemq构建高并发、高可用的大规模消息系统
摘要:  在网上看了很多关于Activemq的帖子,但是大部分的内容都只能算是对activemq官网内容的翻译。很少有相关的案例分析,本文将分享"如何用Activemq构建超大(10万笔消息/秒以上)规模消息系统"。在实时消息系统中,MQ消息中间件广泛应用于各类消息系统中,在异步消息处理架构中,MQ几乎是必备的中间件。 同时,MQ的处理性能也将直接影响整个系统的性能。
用于处理日志的分布式消息系统Kafka(吞吐量高于ActiveMQ和RabbitMQ)
1、几个重要概念 1.1 topic 1.2 broker 1.3 consumer pull message,不是broker push消息给消费者,这样做的另一个特点是,消费者可以绕过当前偏移位的消息,去消费其他偏移位上的消息。和传统的方式不一样。 1.4 consumer可以订阅1个或者多个topic broker不记录消息的ID(或者说没有消息ID),通过offset和消息的大小...
消息队列系列之ActiveMQ(JMS、集群配置)
1、ActiveMQ的下载与启动 到http://activemq.apache.org/activemq-5152-release.html下载ActiveMQ windows版本的启动: 运行bin文件夹中的win32(32位系统)/win64(64位系统)下的: activemq.bat(直接启动,不能关闭命令行窗口,否则会关闭) InstallService.bat(以服务方
中间件对比----Kafka、ActiveMQ、RabbitMQ及RocketMQ性能对比
  特性     ActiveMQ     RabbitMQ     RocketMQ     Kafka 单机吞吐量  万级,比 RocketMQ、Kafka 低一个数量级  同 ActiveMQ  10 万级,支撑高吞吐  10 万级,高吞吐,一般配合大数据类的系统来进行实时数据计算、日志采集等场景 topic 数量对吞吐量的影响  ...
activeMQ实践(四)--大型系统的最佳实现之集群
activemq集群
ActiveMQ的集群与高可用
单纯从《ActiveMQ In Action(Manning-2011)》一书介绍的总结。
分布式ActiveMQ集群
回顾总结前一段时间学习的ActiveMQ分布式集群相关的知识,分享出来希望对看到的人有所帮助。 一、分布式ActiveMQ集群的部署配置细节: 官方资料:http://activemq.apache.org/clustering.html 基本上看这个就足够了,本文就不具体分析配置文件了。 1、Queue consumer clusters: 同一个queue,如果一个consumer失...
ActiveMQ集群搭建详解
ActiveMQ的集群   内嵌代理所引发的问题: 消息过载 管理混乱 如何解决这些问题——集群的两种方式: Master slave  Broker clusters ActiveMQ的集群有两种方式:   MASTER/SLAVE模式 Cluster模式   Pure Master Slave       Pure master slave的工作方式:   ...
kafka集群基于吞吐量指标进行性能调优实践-kafka 商业环境实战
本套技术专栏是作者(秦凯新)平时工作的总结和升华,通过从真实商业环境抽取案例进行总结和分享,并给出商业应用的调优建议和集群环境容量规划等内容,请持续关注本套博客。期待加入IOT时代最具战斗力的团队。QQ邮箱地址:1120746959@qq.com,如有任何学术交流,可随时联系。 1 kafka 基础设施优化 磁盘容量:首先考虑的是所需保存的消息所占用的总磁盘容量和每个broker所能提供的磁盘...
activeMq集群实现方式
前提都是通过  networkConnectors 这个节点来配置的,安装就不说了,请自行百度一下....配的是虚拟集群,如果有多台机器,其实就不需要修改端口了,可以省去不看第一种方案有两台activemq 来集群一台端口为   8161 ,服务端口为 61616 一台端口为   8262 ,服务端口为 62626修改这8161 端口请到  /conf/jetty.xml 中修改,搜索一下8161...
centos7 zookeeper集群和activemq集群部署后的web控制台查看实现
在之前的文章中,我们成功的搭建部署了zookeeper集群,和基于zookeeper集群部署的activemq集群。虽然能正常提供服务,但是却不方便查看状态和数据,不方便运维,也不方便可开发调试等。下面就记录一下,如果部署zookeeper集群和activemq集群的web可视化控制台界面。方便开发调试和运维。 共分为两部分:1.  zookeeper集群的管理控制台 dubbo-admin ...
window系统搭建activeMQ集群和操作步骤
window搭建activeMQ集群(linux系统搭建集群的方式和window的一样),还有自己写的搭建集群的文档和我自己亲手搭建的一个三个mq集群
linux下搭建activemq高可用集群及负载均衡
一. 简介             activemq高可用集群只能系统的可用性,如果需要提高并发,则需要搭建负载均衡。             实现负载,就是俩个高可用集群,每个集群的主节点来负载均衡。             zookeeper集群的安装说明,请参照笔者的另一篇博客: linux下安装zookeeper集群             activemq高可用集群的搭建说明,请...
ActiveMQ之集群(主从)搭建-yellowcong
ActiveMq的集群是依赖于Zookeeper的,ActiveMq的集群是,主从集群的方式,主的挂掉,才会自动切换到从,从的才开始运行。
Java消息中间件学习笔记八 -- ActiveMQ集群
为什么要对消息中间件集群? 实现高可用,以排除单点故障引起的服务中断。 实现负载均衡,以提升效率为更多的客户提供服务。 ActiveMQ集群的基础知识集群方式 客户端集群:让多个消费者消费同一个队列 Broker Clusters:多个broker之间同步消息 Master Slave:实现高可用 客户端配置ActiveMQ失效转移(failover)允许当其中一台消息服务
ActiveMq 集群部署 三种方案 + 负载均衡+其他细节点
备忘用 消息的存储三种方式 : kahaDB ,levelDB,数据库。 (1) kahaDB 可以通过文件共享来实现 高可用,需要对linux进行配置,这里不做具体介绍。 (2)levelDB 是 activeMq 支持的一种高可用策略 ,需要搭建至少三个(奇数个)节点的zk集群 ,我们的activeMq 也是需要三个。 (3)基于数据库实现activeMq高可用 。 (4)通过负载可...
ActiveMQ集群配置及使用
为什么要对消息中间件集群? 实现高可用,以排除单点故障引起的服务中断 实现负载均衡,以提升效率为更多用户提供服务 集群方式: 客户端集群:让多个消费者消费同一个队列 Broker clusters:多个Broker之间同步消息 Master Slave:实现高可用 客户端配置: ActiveMQ失效转移(falilover): 允许当其中一台消息服务器宕机时,客户端在...
消息队列的作用以及kafka和activemq的对比
记录下平时使用kafka的姿势。 背景分析 消息队列这个类型的组件一直是非常重要的组件,当经过两家企业后我就很坚信这个结论了。队列这种东西,最广泛的作用还是在于解耦,宽泛一点的说,它可以将不同部门的工作内容进行有效的整合,基于一个约定好的格式,就可以两头互相不干扰的进行开发。可以说这个生产消费的思想不仅仅适用于程序也适用于非常多的地方。 目前对于我看到...
ActiveMQ集群部署方案
ActiveMQ集群部署方案 一. 利用zookeeper+levelDB的方法 ​ 此方法适合5.9以上ActiveMQ版本,我们版本为5.14.4,符合版本要求。此方法利用zookerper控制broker的主从,每个broker有自己的一套levelDB模式的存储文件,3套情况下每次发送和消费只有当2套都完成更新的时候才算成功,当有一套broker挂掉的时候会控制最新更新的一套b...
ActiveMq消费端实现集群部署
1.问题背景 一个事件中心接收网关通过ActiveMq上报的告警事件,处理后持久化到数据库,消息模型为发布订阅模式。为了实现高可用,决定将事件中心进行集群部署,运行两个实例。 但是由于消息模型为发布/订阅(publish/subscribe,topic),每个eps实例都会收到告警消息。如不加以控制,势必会造成告警消息重复消费的问题。 即我们需要不同的应用系统关心相同的消息,同时单个应...
linux下搭建activemq高可用集群
一. 简介            从 ActiveMQ 5.9 开始,ActiveMQ 的集群实现方式取消了传统的 Master-Slave 方式,增加了基于 ZooKeeper + LevelDB 的 Master-Slave 实现方式,其他两种方式目录共享和数据库共享依然存在。本文采用zookeeper来管理节点实现activemq的高可用。            zookeeper集群的...
ActiveMQ集群安装与配置
1. 准备环境centOS7 zookeeper JDK8安装可参考:JDK8安装: http://blog.csdn.net/qq_21299835/article/details/79333532zookeeper集群安装:http://blog.csdn.net/qq_21299835/article/details/794449292. 下载ActiveMQ下载地址:http://acti...
activemq-集群和主从模式 学习笔记
activemq主从模式与集群 三种masterslave模式 三种主从模式 networkConnector模式 activemq持久化 comsumer特性 destination特性 消息分发策略 消息特性 message-features
基于Docker搭建ActiveMQ的高可用集群
最近刚开始玩Docker和ActiveMQ刚好学习到ActiveMQ集群的搭建,就将其记录了下来给有需要的人,也可以跟大家交流交流。     这里先感谢慕课网和http://blog.csdn.net/lifetragedy/article/details/51869032,在学习ActiveMQ有很大的帮助。     一、docker坏境的搭建。     这里重点不是docke
ActiveMQSpring集群配置及demo
ActiveMQSpring集群配置及demo
ActiveMQ CentOS集群安装部署
方案介绍大致结构如图具体实施方案将在一个机子上做这么一套。 主机IP 集群通信端口 消息端口 控制台端口 节点目录/usr/local/下 192.168.1.108 62621 51511 8161 activemq-cluster/node1/ 192.168.1.108 62622 51512 8162 activemq-cluster
架构设计:系统间通信(25)——ActiveMQ集群方案(上)
通过之前的文章,我们讨论了ActiveMQ的基本使用,包括单个ActiveMQ服务节点的性能特征,关键调整参数;我们还介绍了单个ActiveMQ节点上三种不同的持久化存储方案,并讨论了这三种不同的持久化存储方案的配置和性能特点。但是这还远远不够,因为在生产环境中为了保证让我们设计的消息服务方案能够持续工作,我们还需要为消息中间件服务搭建集群环境,从而在保证消息中间件服务可靠性和处理性能。
ActiveMQ与Zookeeper高可用集群
实际项目中发送MQ消息,如果不做集群,其中mq机器出了故障宕机了,那么mq消息就不能发送了,系统就崩溃了,所以我们需要集群MQ,当其中一台MQ出了故障,其余的MQ机器可以接着继续运转,所以这里描述一下如何使用ZooKeeper来进行ActiveMQ的高可用集群。 前提条件: 准备三个服务器节点用来安装部署Zookeeper和ActiveMQ,我的三个节点分别为:192.16
ActiveMQ——3、ActiveMQ高可用与集群搭建
1. ActiveMQ的高可用原理 使用ZooKeeper(集群)注册所有的ActiveMQ Broker。只有其中的一个Broker可以提供服务,被视为 Master,其他的 Broker 处于待机状态,被视为Slave。如果Master因故障而不能提供服务,Zookeeper会从Slave中选举出一个Broker充当Master。 Slave连接Master并同步他们的存储状态,Slave
基于kahadb的activemq高可用集群部署配置示例
基于kahadb的activemq高可用集群部署配置示例,两个broker分别部署在两台机器上,一台机子上面,两个实例组成一个broker对外提供高可用服务,两个broker通过桥接形成集群服务
ActiveMQ集群模式
[url=http://activemq.apache.org/clustering.html]ActiveMQ集群模式英文原文[/url] [b]Queue consumer clusters[/b] 消费者集群:如果订阅消息的任何一个消息者A宕机,未处理的消息自动发送到另一个订阅 此消息队列的消息者B 通过failover:// transport 协议实现 [b]Broker ...
activemq jdbc-master/slave集群搭建和客户端消费说明
1、下载activemq客户端至linux系统,可以定义两个目录,在一台机器或者两台机器上都行。举例:建立目录mq/activemq1和mq/activemq2 2、解压安装mq,tar -xvf .......tar.gz 3、修改配置文件:        /usr/mq/activemq2/apache-activemq-5.14.0/conf/active.xml文件和/usr/mq/
activeMQ 消息发送 服务器集群配置
1 下载activeMQ,然后解压,调用宾文件的下的activemq.bat 来启动mq 服务,然后就在localhost:61616下访问该控制台了,默认用户名和密码为admin,自启动的时候如果启动不了,有可能是jdk版本的问题,注意各个版本的对对应关系 然后写一个生产者和消费者 生产者: public class AppProducer {      private st
ActiveMQ动态发现集群
1.配置 vim /usr/local/activemq1/conf/activemq.xml 找到broker元素的配置,然后修改brokeName集群中不要重复 然后在transportConnectors 元素前边加上 然后修改transportConnectors元素中的 也就是在默认的值后边加上di
第一次自己搭建activeMQ实现高可用负载均衡集群心得
目标: 1、实现高可用 2、实现负载均衡 需求:最小三个activeMQ服务器(自己玩玩除外) 操作: 1、三台服务器编号(1,2,3),其中编号1,2为master-slave服务器,编号3用于和1,2两台通信实现负载 2、networkConnectors,如果不考虑后面有新增的情况下可使用static发现(multicast:只发现networkConnector  discov
ActiveMQ 的负载均衡集群加高可用方案
环境 linux 系统 ,而我本人用的是CentOS-7 ,运行所需的环境是java  所以需要安装jdk , 安装过程可以看我的这个博客我采用的方案是: 三台ActiveMQ 服务器 这可以到达既可集群又可高可用,架构是这样node  A 和 node B ,node A 和 node C 他们之间形成一个 Broker 这样信息同步 ,实现了负载均衡 ,如果 B挂了 C和A 还可以继续服务  ...
ActiveMQ三机器高可用-负载均衡集群
描述同时达到高可用、高负载需满足:负载均衡+冷热备分别有三个ActiveMQ-A、ActiveMQ-B、ActiveMQ-CA:staticB和C B:staticA并与C共享同一个kahaDB,达到共享目的分别贴上配置:ActiveMQ-Aactivemq.xml 部分配置<transportConnectors> <!-- DOS protection, limit c
ActiveMQ集群高可用解决方案
ActiveMQ高可用解决方案
RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总
RabbitMq、ActiveMq、ZeroMq、kafka之间的比较,资料汇总 [url]http://blog.csdn.net/linsongbin1/article/details/47781187[/url] RabbitMQ的几种典型使用场景 [url]http://www.cnblogs.com/luxiaoxun/p/3918054.html[/url] Rab...