问题遇到的现象和发生背景
按网上教程搭建的7.16版的Elasticsearch+Kibana+Logstash+Beats的日志系统,使用中发现日志采集正常,但在用Kinaba的dashboard功能时候发现,如果beats(auditbeat和filebeat)直连Elasticsearch,dashboard各种数据展示都正常,但如果通过Logstash转发,会出现缺数据的情况:
1、如果Kibana索引是在logstash转发时候建的,filebeat索引项只有68个,auditbeat的索引是130个,dashboard报错——缺索引项;
2、如果Kibana索引是beats直连elasticsearch时候建立的,filebeat索引项6000+,auditbeat索引项1600+,dashboard显示正常;
3、如果Kibana索引是beats直连elasticsearch时候建立的,但后续数据是通过logstash传输的,则dashboard没数据(但不报错)。
现象上感觉是logstash转发数据没转全,但为什么会这样呢?
logstash转发配置如下:
input {
beats {
port => 5044
}
}
output {
elasticsearch {
hosts => ["http://10.60.1.1:9200","http://10.60.1.2:9200","http://10.60.1.3:9200"]
index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}-ELK2"
user => "elastic"
password => "password"
}
}