qq_24657317
Q_764562461
2017-01-10 07:36

logstash+kafka的日志服务问题。求解,急急急

  • 日志服务
  • logstash
  • kafka

之前搭建过一个ElasticSearch+logstash+kafka的日志处理系统,
刚开始运行是没有问题的、后面准备在生产环境使用时,发现logstash处理消息有问题
要么就是在kafka收集到消息很久之后才消费日志消息,要么就是启动时消费消息,之后就不再读取kafka的日志消息了,不知道是怎么回事。最开始我认为是logstash的正则
解析需要大量时间匹配过滤,造成消息堵塞,最后我直接把日志存为json直接不用正则匹配,还是有同样的问题。以下是我的logstast配置
input {
kafka {
zk_connect => "192.168.0.153:12200"
topic_id => "cias-uop"
group_id => "logstash"
rebalance_backoff_ms => 5000
rebalance_max_retries => 10
queue_size => 80000
consumer_threads => 4
fetch_message_max_bytes => 104857600
}
}

filter {
multiline{
pattern => "^\s"
what => "previous"
}
grok {
match => { }
}
}

output {
elasticsearch {
hosts => ["192.168.0.153:9200"]
index => "cias-uop-kafka"
document_type => "cias-uop-%{+YYYY.MM.dd}"
}
}

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

1条回答

为你推荐

换一换