u0str 2022-01-29 16:53
浏览 6
已结题

ELK中logstash接收数据有问题(从索引看映射项目数量明显少于beat直连elasticsearch状态),问题可能出在哪里?

问题遇到的现象和发生背景

按网上教程搭建的7.16版的Elasticsearch+Kibana+Logstash+Beats的日志系统,使用中发现日志采集正常,但在用Kinaba的dashboard功能时候发现,如果beats(auditbeat和filebeat)直连Elasticsearch,dashboard各种数据展示都正常,但如果通过Logstash转发,会出现缺数据的情况:
1、如果Kibana索引是在logstash转发时候建的,filebeat索引项只有68个,auditbeat的索引是130个,dashboard报错——缺索引项;
2、如果Kibana索引是beats直连elasticsearch时候建立的,filebeat索引项6000+,auditbeat索引项1600+,dashboard显示正常;
3、如果Kibana索引是beats直连elasticsearch时候建立的,但后续数据是通过logstash传输的,则dashboard没数据(但不报错)。
现象上感觉是logstash转发数据没转全,但为什么会这样呢?
logstash转发配置如下:

input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["http://10.60.1.1:9200","http://10.60.1.2:9200","http://10.60.1.3:9200"]
    index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}-ELK2"
    user => "elastic"
    password => "password"
  }
}

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 2月6日
    • 创建了问题 1月29日

    悬赏问题

    • ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么
    • ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
    • ¥16 mybatis的代理对象无法通过@Autowired装填
    • ¥15 可见光定位matlab仿真
    • ¥15 arduino 四自由度机械臂
    • ¥15 wordpress 产品图片 GIF 没法显示
    • ¥15 求三国群英传pl国战时间的修改方法
    • ¥15 matlab代码代写,需写出详细代码,代价私
    • ¥15 ROS系统搭建请教(跨境电商用途)
    • ¥15 AIC3204的示例代码有吗,想用AIC3204测量血氧,找不到相关的代码。