filebeat采集单条日志是不是有长度限制,我发现有条比较长的语句采集之后部分数据丢失了。
上网查了下filebeat单条语句采集长度限制说是默认10M,可是有问题这个数据虽然有1000多行但是大小也才20k。
也试着修改了下max_message_bytes,结果也没啥用,有大腿知道为啥吗
filebeat采集单条日志是不是有长度限制,我发现有条比较长的语句采集之后部分数据丢失了。
上网查了下filebeat单条语句采集长度限制说是默认10M,可是有问题这个数据虽然有1000多行但是大小也才20k。
也试着修改了下max_message_bytes,结果也没啥用,有大腿知道为啥吗
Filebeat默认有单条日志长度限制,但是默认值是10MB,你遇到的问题可能不是由于长度限制引起的。
如果你修改了max_message_bytes
配置,但是仍然遇到了数据丢失的问题,那么可能是其他原因导致的。
以下是一些可能导致数据丢失的原因:
close_inactive
参数设置得太小,导致Filebeat在日志文件没有完全写入之前就关闭了文件句柄。