谁能有个原创的怎么教人写logstash配置文件?网上都是抄来抄去的,根本看不懂 5C

没用过logstash,看了好长时间,也把日志全都整理成了纯JSON格式,但按照网上看来看去的所谓的教程,完全写不出来

5个回答

 input {
        file {
                path => ["/your/log/path/1.log"]
                start_position => "beginning"
                type => "type1"
                codec => multiline {
                        pattern => "^\d"
                        negate => true
                        what => "previous"
                }
        }
        file {
                path => ["/your/log/path/2.log"]
                start_position => "beginning"
                type => "type2"
                codec => multiline {
                        pattern => "^{"
                        negate => true
                        what => "previous"
                }
        }
}
filter {
        if [type] == "type2" {
                mutate {
                        remove_field => ["@version", "host", "path", "@timestamp", "type", "tags"]
                }
        }
}
output {
        if [type] == "type1" {
                elasticsearch {
                        index => 'log-index1-%{+YYYY-MM-dd}'
                        hosts => ["192.168.41.31:9200"]
                        user => "logger"
                        password => "password"
                }
        } else {
                kafka {
                        bootstrap_servers => "192.168.41.33:9092,192.168.41.20:9092,192.168.41.32:9092"
                        topic_id => "healthTrace"
                        client_id => "logstash"
                        batch_size => 200
                        codec => plain {
                                format => "%{message}"
                        }
                }
        }
}

我还在CSDN论坛上发了帖子,举了四个日志样例,根据那样的案例,要怎么写呢?

帖子链接: https://bbs.csdn.net/topics/392442985

weixin_37893887
玄尺 我给的例子相对完整,输入数据源有两个文件,一个吐到elasticsearch一个吐到kafka,第一个文件是日志格式,第二个文件就是json格式的
大约一年之前 回复

数据源有两个文件,第一个文件是一般的日志文件日志格式就是log4j大家最常用的格式,这个文件需要logstash读取之后吐到elasticsearch中。第二份文件是日志埋点文件,数据格式是json,这份文件需要经过logstash吐到kafka中给埋点组件进行消费

都只听说用一个文件就行了,怎么还需要两个日志文件?

weixin_37893887
玄尺 logstash是一个input-filter-output的结构,输入输出以及filter都可以是多个
大约一年之前 回复

这里有2个实际的例子,每个参数的注释都很详细,希望可以帮到你。

  • logstash特性;
  • 如何安装;
  • 单表、多条同步如何配置;配置文件注释很详细;
  • 可能遇到的问题及解决方案。


https://blog.csdn.net/u010887744/article/details/86708490

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!