kafka发送json数据时数据过大导致出现

Question

各位大家好,今天在发送kfk的时候出现一个错误,我自定义了一个字符串数据很小,就2行,发送kfk的时候可以监听到,但是发送大json数据时就会爆unable to write to standard out,closing consumer,这个问题,请问如何解决,发送kfk时配置也写了压缩的方式lz4.

Answer 1

从log上来看一目了然，如果要解决当前问题的话，
减小broker消息体大小(设置message.max.bytes参数)；
增大consumer获取数据信息大小(设置fetch.message.max.bytes参数)。默认broker消息体大小为1000000字节即为1M大小。
具体的你可以参考这篇文章：https://www.cnblogs.com/wynjauu/articles/9409686.html