如题,kafka消费端接收到数据后 要进行部分业务逻辑操作,可能会有3秒左右,处理很慢
的话,对程序有什么影响呢?新手提问, 望各位大神不吝赐教!
kafka 消费端 处理数据比较慢,会不会出现数据积压?
- 写回答
- 好问题 0 提建议
- 关注问题
- 邀请回答
-
2条回答 默认 最新
乖乖猪001 2018-11-27 08:39关注一条数据处理需要3s的话,那就比较麻烦了,感觉代码能优化的地方应该很多。
数据积压的问题,可以多线程消费,对应着把partition的数量也增加。
也可以设置下参数,kafka,storm,spark streaming都可以控制上游发送数据的速度,其实是条数,当内存中堆积了XX条数据未
消费的时候,会阻塞。评论 打赏 举报解决 1无用 1