NGU_ALLIN 2018-11-27 08:09 采纳率: 0%
浏览 9901

kafka 消费端 处理数据比较慢,会不会出现数据积压?

如题,kafka消费端接收到数据后 要进行部分业务逻辑操作,可能会有3秒左右,处理很慢
的话,对程序有什么影响呢?新手提问, 望各位大神不吝赐教!

  • 写回答

2条回答 默认 最新

  • 乖乖猪001 2018-11-27 08:39
    关注

    一条数据处理需要3s的话,那就比较麻烦了,感觉代码能优化的地方应该很多。
    数据积压的问题,可以多线程消费,对应着把partition的数量也增加。
    也可以设置下参数,kafka,storm,spark streaming都可以控制上游发送数据的速度,其实是条数,当内存中堆积了XX条数据未
    消费的时候,会阻塞。

    评论

报告相同问题?