portal 2011-11-25 16:06
浏览 691
已采纳

关于ActiveMQ 消息吞吐量的如何优化?

最近公司想对公司应用结构进行优化,对现在架构中很多耗费资源严重且耗时比较长的应用间大数据量同步通信的接口进行优化,讨论决定引入消息中间件,网上浏览了一圈最后锁定ActiveMQ,在网上看到很多关于ActiveMQ的测试分析文档,大部分测试结果 AMQ的每秒吞吐量大概都在2000以上甚至更多,但是我在公司服务器上面测试的数据并不是很理想,有点让人头疼,不能够达到峰值,甚至在多线程下速度极速下降,效率方面有点不能让人接受,想看看有没有更好的优化配置。
下面是我的Amq的配置:
[size=large;]
单机服务器:CPU :8个
内存:16G
系统:Linux Red Hat
Amq版本:5.5.1
[/size]
${activemq_base}/conf/activemq.xml :配置

[code="java"][color=blue] destroyApplicationContextOnStop="true"
persistent="true" useJmx="true">

    <destinationPolicy>
        <policyMap>
            <policyEntries>
                <policyEntry topic=">" producerFlowControl="false" memoryLimit="16mb" optimizedDispatch="true">
                        <dispatchPolicy>
                        <strictOrderDispatchPolicy />
                        </dispatchPolicy>
                        <subscriptionRecoveryPolicy>
                        <lastImageSubscriptionRecoveryPolicy />
                        </subscriptionRecoveryPolicy>
                 </policyEntry>
                <policyEntry queue=">" producerFlowControl="false" memoryLimit="16mb" optimizedDispatch="true">

                </policyEntry>


              </policyEntries> 
        </policyMap>
    </destinationPolicy> 


    <managementContext>
        <managementContext createConnector="false"/>
    </managementContext>


    <persistenceAdapter>
        <kahaDB directory="/opt/activemq_data/kahadb_master"  indexWriteBatchSize="1000" journalMaxFileLength="32mb" enableIndexWriteAsync="true" enableJournalDiskSyncs="false"/>
    </persistenceAdapter>


    <systemUsage>
        <systemUsage sendFailIfNoSpaceAfterTimeout="3000">
            <memoryUsage>
                <memoryUsage limit="128 mb"/>
            </memoryUsage>
            <storeUsage>
                <storeUsage limit="15 gb" name="dbstore"/>
            </storeUsage>
            <tempUsage>
                <tempUsage limit="128 mb"/>
            </tempUsage>
        </systemUsage>
    </systemUsage>
        <transportConnectors>
        <transportConnector name="openwire" uri="tcp://192.168.2.215:61616"/>
    </transportConnectors>

</broker>

   <import resource="jetty.xml"/>[/color][/code]

JVM设置:

[code="java"][color=black] /opt/java/jdk1.6.0_29/bin/java -server -Xmx2g -Xms2g -XX:SurvivorRatio=8 -XX:PermSize=256m -XX:MaxPermSize=256m -XX:+HeapDumpOnOutOfMemoryError -XX:ErrorFile=/opt/mqdata/logfile/dump.log -XX:+UseParNewGC -XX:MaxTenuringThreshold=1 -XX:+UseConcMarkSweepGC -XX:+CMSParallelRemarkEnabled -Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.port=1099 -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Djava.rmi.server.hostname=192.168.2.215 -Dorg.apache.activemq.UseDedicatedTaskRunner=true -Djava.util.logging.config.file=logging.properties -Dcom.sun.management.jmxremote -Dactivemq.classpath=/opt/work/activemq/conf; -Dactivemq.home=/opt/work/activemq -Dactivemq.base=/opt/work/activemq -jar /opt/work/activemq/bin/run.jar start[/color][/code]

单机模式下测试流程:
只对queue进行测试,

1、broker和producer、consumer 都是分离开得 ,一台服务器专门做broker的主机服务器。
2、使用activemq在example下提供的例子在另一台服务器(8核,16G)进行消息生产
3、1个producer 没有consumer 的情况下,消息大小:1K,非持久化消息,每秒大概在2500左右,1000W以后大概每秒1500/s左右

4、1个peoducer 没有consumer,消息大小:1K,持久化消息(kaha),每秒 1200-1500左右,内存到1G左右时,缩减到800-1000左右/s

5、1个producer,1个consumer,消息大小:1K,持久化消息(kaha),每秒1200左右,持续稳定在这个状况

6、5个producer,5个consumer,消息大小:1K,持久化消息(kaha)、每秒在1000左右/s 持续

7、p:1,c:1, 消息大小:1024K,持久化消息,每秒在700-900/s

8、p:5,c:5,消息大小:1024,持久化消息,每秒大概在700左右/s

[size=small;]二、:Pure Master-Slave 模式[/size]

配置:
硬件配置:主从都一样,8 CPU,16G内存

Master 配置与单机模式一样
Slave 只是在 中增加了masterConnectorURI="tcp://192.168.2.215:61616" shutdownOnMasterFailure="false"

ActiveMQ 内存分配为2G

只对queue进行测试,

1、1个producer 没有consumer 的情况下,消息大小:1K,持久化消息,每秒大概在1000左右,内存过半(1G)时,大概在500-700左右
2、1个producer,1个consumer,消息大小:1K,持久化消息(kaha),每秒800-1000左右,持续稳定在这个状况
3、5个producer,5个consumer,消息大小:1K,持久化消息(kaha)、每秒在500-800左右/s 持续
4、p:1,c:1, 消息大小:1024K,持久化消息,每秒在700左右/s
5、p:5,c:5,消息大小:1024,持久化消息,每秒大概在500左右/s

这是我现在的测试结果.

但是这个结果让我不是很满意,想问问大家在配置ActiveMQ 的时候 我是否有配置有耗时的地方,还可以在那些方面进行优化。

公司的方案倾向于Pure Master-Slave模式但是这种模式有 双向存储的性能消耗,也想问问大家在应用方面那种模式更好一些,初步预算在生产环境为两个服务器。
希望大家能帮忙解决下问题 ,谢谢啊

  • 写回答

2条回答 默认 最新

  • jiangguangxian 2011-11-28 10:52
    关注

    [quote]
    公司内部使用的系统来架设MQ服务器,想说如果像我上面测试中的吞吐量结果,在大约3K人左右使用的内部系统中,是否能够满足并发处理的需求?
    还有正常来说MQ服务器,比如说RabbitMQ 或者openMQ等正常的吞吐量大概维持在多少,请问下有测试过,或者您工作中理想的峰值、平均值是多少?
    [/quote]

    抱歉,其实我们也只是刚才调研没多久,只是了解了一下几个MQ之间,并且怎么使用,真正的性能测试,暂时还没有做呢,所以不能提供给你具体信息了,我对他们具体的效率问题还不是太清楚。你还是上网上找一找把。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像,如何解决?
  • ¥15 求daily translation(DT)偏差订正方法的代码
  • ¥15 js调用html页面需要隐藏某个按钮
  • ¥15 ads仿真结果在圆图上是怎么读数的
  • ¥20 Cotex M3的调试和程序执行方式是什么样的?
  • ¥20 java项目连接sqlserver时报ssl相关错误
  • ¥15 一道python难题3
  • ¥15 牛顿斯科特系数表表示
  • ¥15 arduino 步进电机
  • ¥20 程序进入HardFault_Handler