2 qq 24657317 qq_24657317 于 2017.01.10 15:36 提问

logstash+kafka的日志服务问题。求解,急急急

之前搭建过一个ElasticSearch+logstash+kafka的日志处理系统,
刚开始运行是没有问题的、后面准备在生产环境使用时,发现logstash处理消息有问题
要么就是在kafka收集到消息很久之后才消费日志消息,要么就是启动时消费消息,之后就不再读取kafka的日志消息了,不知道是怎么回事。最开始我认为是logstash的正则
解析需要大量时间匹配过滤,造成消息堵塞,最后我直接把日志存为json直接不用正则匹配,还是有同样的问题。以下是我的logstast配置
input {
kafka {
zk_connect => "192.168.0.153:12200"
topic_id => "cias-uop"
group_id => "logstash"
rebalance_backoff_ms => 5000
rebalance_max_retries => 10
queue_size => 80000
consumer_threads => 4
fetch_message_max_bytes => 104857600
}
}

filter {
multiline{
pattern => "^\s"
what => "previous"
}
grok {
match => { }
}
}

output {
elasticsearch {
hosts => ["192.168.0.153:9200"]
index => "cias-uop-kafka"
document_type => "cias-uop-%{+YYYY.MM.dd}"
}
}

1个回答

dabocaiqq
dabocaiqq   2017.01.21 23:07
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!