小菜鸡_弱弱 2023-04-20 20:53 采纳率: 84.1%
浏览 23
已结题

filebeat采集日志限制长度

filebeat采集单条日志是不是有长度限制,我发现有条比较长的语句采集之后部分数据丢失了。
上网查了下filebeat单条语句采集长度限制说是默认10M,可是有问题这个数据虽然有1000多行但是大小也才20k。

也试着修改了下max_message_bytes,结果也没啥用,有大腿知道为啥吗

img

  • 写回答

2条回答 默认 最新

  • CSDN专家-sinJack 2023-04-20 21:13
    关注

    Filebeat默认有单条日志长度限制,但是默认值是10MB,你遇到的问题可能不是由于长度限制引起的。
    如果你修改了max_message_bytes配置,但是仍然遇到了数据丢失的问题,那么可能是其他原因导致的。
    以下是一些可能导致数据丢失的原因:

    1. 日志文件被其他进程或者线程修改或删除,导致Filebeat无法读取完整的日志内容。
    2. Filebeat配置文件中的close_inactive参数设置得太小,导致Filebeat在日志文件没有完全写入之前就关闭了文件句柄。
    3. Filebeat的输出目标(如Elasticsearch)的缓冲区设置得太小,导致数据被丢失。
    4. 日志文件中的数据格式不正确,导致Filebeat无法正确解析数据。
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 5月12日
  • 已采纳回答 5月4日
  • 创建了问题 4月20日

悬赏问题

  • ¥15 静电纺丝煅烧后如何得到柔性纤维
  • ¥15 (标签-react native|关键词-镜像源)
  • ¥100 照片生成3D人脸视频
  • ¥15 伪装视频时长问题修改MP4的时长问题,
  • ¥15 JETSON NANO
  • ¥15 VS开发qt时如何在paintgl函数中用pushbutton控制切换纹理
  • ¥20 关于 openpyxl 处理excel文件地问题
  • ¥15 MS中不知道高分子的构型怎么构建模型
  • ¥60 QQOP数据,什么是op数据号,怎么提取op数据!能不能大量提取(语言-c语言)
  • ¥15 matlab代码 关于微分方程和嵌套的分段函数。