java_66666 2018-08-21 03:21 采纳率: 0%
浏览 7599
已结题

kafka消费者处理慢的情况下如何提高消息处理速度?不允许增加分区

如题.最近的一个面试题,说是考虑kafka理论特性.具体要求我可能有理解错误.如果各位有研究一眼看出是什么问题,谢谢给个提示.

我搜索了下,提高消费性能的有:

增加分区个数(增加消费者并行数)[不允许];

消费者使用多线程;如果消息处理是CPU密集的加多线程也没用啊;

或许我理解有问题?

换个问题?

生产者1秒生成1W消息.然而此时全部消费者1s只能消费5000,消息处理是纯CPU计算,问:在不添加分区的情况下如何消息处理速度?

  • 写回答

2条回答 默认 最新

  • m0_37599385 2018-08-21 07:20
    关注

    试试这个，对于单partition的消费线程，增加一个固定长度的阻塞队列和工作线程池进一步提高并行消费的能力

    评论

报告相同问题？

悬赏问题

  • ¥15 关于#python#的问题：求帮写python代码
  • ¥20 MATLAB画图图形出现上下震荡的线条
  • ¥15 LiBeAs的带隙等于0.997eV,计算阴离子的N和P
  • ¥15 关于#windows#的问题：怎么用WIN 11系统的电脑 克隆WIN NT3.51-4.0系统的硬盘
  • ¥15 来真人，不要ai！matlab有关常微分方程的问题求解决，
  • ¥15 perl MISA分析p3_in脚本出错
  • ¥15 k8s部署jupyterlab，jupyterlab保存不了文件
  • ¥15 ubuntu虚拟机打包apk错误
  • ¥199 rust编程架构设计的方案 有偿
  • ¥15 回答4f系统的像差计算