NGU_ALLIN 2018-11-27 08:09 采纳率: 0%
浏览 9894

kafka 消费端 处理数据比较慢,会不会出现数据积压?

如题,kafka消费端接收到数据后 要进行部分业务逻辑操作,可能会有3秒左右,处理很慢
的话,对程序有什么影响呢?新手提问, 望各位大神不吝赐教!

  • 写回答

2条回答

  • 乖乖猪001 2018-11-27 08:39
    关注

    一条数据处理需要3s的话,那就比较麻烦了,感觉代码能优化的地方应该很多。
    数据积压的问题,可以多线程消费,对应着把partition的数量也增加。
    也可以设置下参数,kafka,storm,spark streaming都可以控制上游发送数据的速度,其实是条数,当内存中堆积了XX条数据未
    消费的时候,会阻塞。

    评论

报告相同问题?

悬赏问题

  • ¥15 rs485的上拉下拉,不会对a-b<-200mv有影响吗,就是接受时,对判断逻辑0有影响吗
  • ¥15 使用phpstudy在云服务器上搭建个人网站
  • ¥15 应该如何判断含间隙的曲柄摇杆机构,轴与轴承是否发生了碰撞?
  • ¥15 vue3+express部署到nginx
  • ¥20 搭建pt1000三线制高精度测温电路
  • ¥15 使用Jdk8自带的算法,和Jdk11自带的加密结果会一样吗,不一样的话有什么解决方案,Jdk不能升级的情况
  • ¥15 画两个图 python或R
  • ¥15 在线请求openmv与pixhawk 实现实时目标跟踪的具体通讯方法
  • ¥15 八路抢答器设计出现故障
  • ¥15 opencv 无法读取视频