谁能有个原创的怎么教人写logstash配置文件?网上都是抄来抄去的,根本看不懂 5C

没用过logstash,看了好长时间,也把日志全都整理成了纯JSON格式,但按照网上看来看去的所谓的教程,完全写不出来

0

5个回答

 input {
        file {
                path => ["/your/log/path/1.log"]
                start_position => "beginning"
                type => "type1"
                codec => multiline {
                        pattern => "^\d"
                        negate => true
                        what => "previous"
                }
        }
        file {
                path => ["/your/log/path/2.log"]
                start_position => "beginning"
                type => "type2"
                codec => multiline {
                        pattern => "^{"
                        negate => true
                        what => "previous"
                }
        }
}
filter {
        if [type] == "type2" {
                mutate {
                        remove_field => ["@version", "host", "path", "@timestamp", "type", "tags"]
                }
        }
}
output {
        if [type] == "type1" {
                elasticsearch {
                        index => 'log-index1-%{+YYYY-MM-dd}'
                        hosts => ["192.168.41.31:9200"]
                        user => "logger"
                        password => "password"
                }
        } else {
                kafka {
                        bootstrap_servers => "192.168.41.33:9092,192.168.41.20:9092,192.168.41.32:9092"
                        topic_id => "healthTrace"
                        client_id => "logstash"
                        batch_size => 200
                        codec => plain {
                                format => "%{message}"
                        }
                }
        }
}
1

我还在CSDN论坛上发了帖子,举了四个日志样例,根据那样的案例,要怎么写呢?

帖子链接: https://bbs.csdn.net/topics/392442985

0
weixin_37893887
玄尺 我给的例子相对完整,输入数据源有两个文件,一个吐到elasticsearch一个吐到kafka,第一个文件是日志格式,第二个文件就是json格式的
12 个月之前 回复

数据源有两个文件,第一个文件是一般的日志文件日志格式就是log4j大家最常用的格式,这个文件需要logstash读取之后吐到elasticsearch中。第二份文件是日志埋点文件,数据格式是json,这份文件需要经过logstash吐到kafka中给埋点组件进行消费

0

都只听说用一个文件就行了,怎么还需要两个日志文件?

0
weixin_37893887
玄尺 logstash是一个input-filter-output的结构,输入输出以及filter都可以是多个
12 个月之前 回复

这里有2个实际的例子,每个参数的注释都很详细,希望可以帮到你。

  • logstash特性;
  • 如何安装;
  • 单表、多条同步如何配置;配置文件注释很详细;
  • 可能遇到的问题及解决方案。


https://blog.csdn.net/u010887744/article/details/86708490

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
谁有原创的教人怎么写 logstash 配置文件的?(有内文)
看了ELK有段时间了,也把日志格式全都规整成JSON格式了,但看了很多所谓的教程还是不会写,网上找到的都是你抄我,我抄你,都是抄来抄去的,每一个有用的。rnrn比如,比如,我日志全都规整成了这样的格式:(本来是一行一个日志,为了看的清楚,我调整了下格式,共四个日志样例),这样的配置文件要怎么写呢?(日志我先保存到了文件,用的log4cplus,每天一个文件名字)rnrnrn[2018-09-05 00:00:00.467] --- 日志记录时间,下同rnrn "pktype":"gwrx", --- 包类型,下同,四种包类型rn "eui":"6073bc0002100012", --- 标识符rn "payload": --- 内容rn rn "tmst":333974364,rn "nsrecvtime":"2018-9-5 00:00:00:458",rn "freq":483.50,rn "datar":"SF9BW125",rn "coder":"4/5",rn "rssi":-95,rn "snr":10.2,rn "frame":rn rn "type":"JoinReq",rn "payloadlen":23,rn "toa":206000rn rn rnrnrn[2018-09-05 00:01:32.069] rnrn "pktype":"gwtx",rn "eui":"6073bc0002100012",rn "payload":rn rn "mote":"004a770153000003",rn "downtype":"A",rn "tmst":17606746620,rn "freq":502.50,rn "datar":"SF12BW125",rn "coder":"4/5",rn "rx":2,rn "frame":rn rn "type":"Down-UnCfm",rn "payloadlen":0,rn "toa":1156000rn rn rnrnrn[2018-09-05 00:01:32.069] rnrn "pktype":"moterx",rn "eui":"004a770153000003",rn "payload":rn rn "devaddr":"c80017d9",rn "downtype":"A",rn "appeui":"2c26c50065000035",rn "freq":502.50,rn "datar":"SF12BW125",rn "coder":"4/5",rn "rx":2,rn "gweui":"6073bc0002100012",rn "frame":rn rn "type":"Down-UnCfm",rn "fctl":rn rn "adr":1,rn "ack":1,rn "fpend":0,rn "optlen":0rn ,rn "fcnt":63204,rn "fport":255,rn "payloadlen":0,rn "toa":1156000rn rn rnrnrn[2018-09-05 00:01:00.401] rnrn "pktype":"motetx",rn "eui":"004a770019000001",rn "payload":rn rn "devaddr":"c800012b",rn "nsrecvtime":"2018-9-5 00:00:59:689",rn "appeui":"004a770019000001",rn "freq":488.30,rn "datar":"SF12BW125",rn "coder":"4/5",rn "recvgwcount":1,rn "gwlist":rn [rn rn "gweui":"6073bc0001000066",rn "rssi":-110,rn "snr":1.5rn rn ],rn "frame":rn rn "type":"JoinReq",rn "payloadlen":23,rn "toa":1483000rn rn rnrnrnrn
logstash配置文件
input {    stdin {    }    jdbc {      # mysql jdbc connection string to our backup databse      jdbc_connection_string => "jdbc:mysql://**"      # the user we wish to excute our statement as      ...
配置文件 | logstash配置文件详解
说明 /logstash/config/logstash.yml:主要用于控制logstash运行时的状态 /logstash/config/startup.options:logstash 运行相关环境变量 配置参数说明 logstash.yml 参数 用途 默认值 node.name 节点名称 主机名称 path.data /数据存储路径 LOGSTASH_HOME/da...
找完整的commons mail的代码,网上都是片断,互相抄来抄去
谢谢
logstash 配置文件编写详解
说明 它一个有jruby语言编写的运行在java虚拟机上的具有收集分析转发数据流功能的工具 能集中处理各种类型的数据 能标准化不通模式和格式的数据 能快速的扩展自定义日志的格式 能非常方便的添加插件来自定义数据 通过在配置文件编写输入(input),过滤(filter),输出(output)相关规则,对数据收集转发。 配置文件编写语法 大致格式如下 # 输入 input { ... } #...
logstash配置文件示例
logstash配置文件示例
logstash增加配置文件
在conf.d目录下创建文件logs.conf用于收集*.log中的日志input { tcp { port => 4560 codec => json } file { path => "/data/securityopdata/synctool/logs/*.log" type =>...
logstash配置文件详解
Logstash实际应用配置详解背景业务目的是能够分析nginx和apache每天产生的日志,对url、ip、rest接口等信息进行监控,并将数据发送到elasticsearch服务。
logstash主配置文件
该配置文件有logstash的stdin、file、tcp、udp、syslog、beats、grok、elasticsearch插件配置
logstash常用配置文件总结
目录 logstash配置文件示例 输入input filebeat 标准输入(屏幕) 读取文件(File) 读取网络数据(TCP) 读取mysql 处理filter 基础知识 if使用 Grok 正则捕获 时间处理(Date) 数据修改(Mutate)(重要) 变量增减 类型转换 字符串处理 gsub(替换) split(分割) join(合并) merg...
LogStash 常用配置文件
1、File   to   Redis input {     file {         type => "type_count"         path => ["/data/logs/count/stdout.log", "/data/logs/count/stderr.log"]         exclude => ["*.gz", "access.log"]  
logstash采集日志配置文件
     采集配置 创建配置文件,编写内容      1.采集目录的数据    input {        file {                 type => "my_type"                                类型                 path => "/root/data/1.txt"                ...
ELK配置logstash的配置文件
input { file { path => "/srv/web/a/logs/a.*" start_position => "beginning" type => "a" } file { path => "/srv/web/b/logs/b.*" ...
C# 能有2个配置文件么
请问 C#配置文件 一个叫App.Config 我又加了一个叫 Costom.Config 我想知道怎么操作第二个configrnrn请高手指点!!!
logstash多个配置文件启动的问题
场景描述 创建了一个config文件夹,并且里面建立两个配置文件,内容分别为 test1.conf:input{ stdin{} }output{ stdout{ # codec=>rubydebug } }test2.conf:input{ stdin{} }output{ stdout{ codec=>rubydebug } }用启动命令 b
怎么写配置文件
怎么写配置文件,用VC调用出来,配置文件中怎么写参数,我知道是 char FileName[100];rn GetWindowsDirectory(FileName,100);rn strcat(FileName,"\\tc08a-v.ini");rn GetPrivateProfileString("SYSTEM","InstallDir",NULL,VoicePath,100,FileName);rn strcat(VoicePath,"voc\\");rn但是GetPrivateProfileString的参数怎么用,怎么和INI中的对应上
winform 怎么写配置文件?
比如由于我要将登录的用户名之类的信息保存,以让用户下次登录不用输入.rnrn总之就是要读写配置文件rnrn我试了 ConfigurationManager 还有 Properties.Settingsrn好象只能读不能写,请指点!
怎么写VB配置文件??
rnrn怎么写VB配置文件??rn就是在这个配置文件中有rnconn rs user password Data Source Initial Catalog
校验logstash输入输出配置文件命令
windows: .\logstash.bat -f logstash.conf -t linux: logstash -f logstash.conf -t 错误示例: 上图提示配置文件不合规,并且给出了具体位置等信息
应用程序配置文件怎么写?
老师要求在App.config文件里添加数据库信息,这样就不用一个一个文件去修改数据库了。但是我没明白。。。下面的错误什么意思?怎么改?n 请会的前辈帮帮忙,自己看书找也没找到,也没太看懂。n 因为不懂所以问题可能也不太清楚!能教我的好心的前辈加下qq:1328096999n 或者微信:13154568301 谢谢!n n Dim connstr1 As New SqlConnection(**System.Configuration.appSettings**("ConnectionString"))n n> 错误 1 “appSettings”不是“Configuration”的成员。nn n
delphi 配置文件怎么写
假如我有程序中需要用配置文件来实现,有多条曲线,启动程序,每条曲线都是固定的颜色,不会因为位置的变化,曲线颜色改变,用配置文件怎么实现。Txt文本文档的配置。
logstash 采集log4j日志配置文件
logstash采集log4j日志发送到es配置文件,可以把日志根据日志级别区分开,一个级别一条日志是es中的一条数据
Logstash 参考指南(配置文件的结构)
配置文件的结构 Logstash配置文件为要添加到事件处理管道的每种插件都有一个单独的部分,例如: # This is a comment. You should use comments to describe # parts of your configuration. input { ... } filter { ... ...
AMC.1手册,网上根本找不到的。
本文档是符合MicroTCA标准的AMC卡的PCIE和Advanced switching的手册,详细描述了AMC卡的AMC.1的资源
如何教人
把学问过于用作装饰是虚假;完全依学问上的规则而断事是书生的怪癖。——培 根 聪明的人有长的耳朵和短的舌头。 ——弗莱格 重复是学习之母。 ——狄慈根 当你还不能对自己说今天学到了什么东西时,你就不要去睡觉。 ——利希顿堡 好问的人,只做了五分种的愚人;耻于发问的人,终身为愚人。 ——佚 名 求学的三个条件是:多观察、多吃苦、多研究。 ——加菲劳 ...
看不懂啊,谁说说?
#pragma comment ( lib, "ws2_32.lib" )rn
谁帮忙解释一下,看不懂
create table T_Score(Stu_id char(4), Lession_id char(4), Score int)rninsert T_Score select 'A001', 'L001', 90rnunion all select 'A001', 'L002', 80rnunion all select 'A002', 'L001', 70rnunion all select 'A002', 'L002', 60rnunion all select 'B001', 'L001', 50rnunion all select 'B002', 'L001', 85rnrncreate table T_Stu_Profile(Stu_id char(4), Stu_name nvarchar(10), Class_id char(5))rninsert T_Stu_Profile select 'A001', '张三', '06101'rnunion all select 'A002', '李四', '06101'rnunion all select 'B001', '王五', '06102'rnrncreate table T_Lession(Lession_id char(4), Lession_des nvarchar(10))rninsert T_Lession select 'L001', '语文'rnunion all select 'L002', '数学'rnunion all select 'L003', '英语'rnunion all select 'L004', '物理'rnunion all select 'L005', '化学'rnrnrndeclare @sql varchar(8000)rnset @sql='select Stu_name, tmp.* from T_Stu_Profilernleft joinrn(rnselect Stu_id, 'rnselect @sql=@sql+quotename(Lession_des)+'=max(case when Lession_id='+quotename(Lession_id, '''')+' then Score else 0 end),' from T_Lessionrnselect @sql=left(@sql, len(@sql)-1),rn@sql=@sql+' from T_Score group by Stu_id)tmp on T_Stu_Profile.Stu_id=tmp.Stu_id 'rnexec(@sql)
【原创诗歌】谁又是谁的谁呢
凌乱的紫色盛开 花香,花香盈路 戴上一朵,小心询问: 好不好看?   枫林的颜色淡去 枫叶,枫叶飘零 送你一叶,不再害怕: 这样离开   呵呵,谁又是谁的谁呢   你喜欢《诗经》 关于爱情的叙述 我念给你听 喜欢看你微红的双靥 然后惊起长嗟   你喜欢我背着你 却把紫色当成薰衣草 嗅着花香,许不下浪漫的幻想 没有你,终不用《诗经》   呵呵。谁又是谁的...
《数据库概论》——课本根本看不懂系列之【规范化】
《数据库概论(第五版)》!!!! 这念书的不能全是学霸吧?像我这种学渣根本看不懂好么!!!!!!! 理解规范化什么的,先得了解一些基础名词。 基础名词 元组:数据表中一行就是一个元组; 分量:一个元组中的一列; 码:一张表中能唯一确定一个元组的属性;这样的属性可能不止一个(比如你的姓名,学号,身份证号 都可以唯一确定你)都叫【候选码】,从这些候选码中挑出一个老大就是【主码】; 主属性...
指向数组的指针,晕,根本看不懂
//这是老潭写的书上的原题(稍加改动)rn//我把程序里所有的*去掉,也觉得没什么不对啊?(可是调试的时候显示的错误满满一页,乱rn//七八糟的什么都有.)去掉*之后不就是先定义一个普通的数组,然后再调用这个数组吗?rn#includern#includernvoid f1(char *name[5],int n)rnrn int i,j,k;rn char *temp;rn for(i=0;i<=n-2;i++)rn rn k=i;rn for(j=i+1;j<=n-1;j++)rn rn if(strcmp(name[k],name[j])>0)k=j;rn rn temp=name[i];name[i]=name[k];name[k]=temp;rn rnrnvoid f2(char *name[5],int n)rnrn int i;rn for(i=0;i
谁帮我写一个smarty配置文件啊?
这是目录结构,smarty放置在common文件夹下面,我希望user下可以放置php文件,如图rn[img=D:\1.jpg][/img]rn写的稍微详细一点,最好是有点注释,新手,谢谢!
各位写Web Services都是怎么写的?
看看Web Services版人不多,就到这里来问了~rn初学Web Services,写Web ervices的服务和调用都是直接写的,还是用了其它工具?rn比如下面的一个SoapBindingStub里的一个函数:rn public void add(java.lang.String in0, int in1) throws java.rmi.RemoteException, hero.net.ProjectSession.HeroException rn if (super.cachedEndpoint == null) rn throw new org.apache.axis.NoEndPointException();rn rn org.apache.axis.client.Call _call = createCall();rn _call.setOperation(_operations[14]);rn _call.setUseSOAPAction(true);rn _call.setSOAPActionURI("");rn _call.setSOAPVersion(org.apache.axis.soap.SOAPConstants.SOAP11_CONSTANTS);rn _call.setOperationName(new javax.xml.namespace.QName("http://interfaces.hero", "add"));rnrn setRequestHeaders(_call);rn setAttachments(_call);rn java.lang.Object _resp = _call.invoke(new java.lang.Object[] in0, new java.lang.Integer(in1));rnrn if (_resp instanceof java.rmi.RemoteException) rn throw (java.rmi.RemoteException)_resp;rn rn extractAttachments(_call);rn rn-----------rn象这种函数,以及象SoapBindingStub本身这种全部的代码都是怎么写出来的?直接写,还是用其它工具?好像有说用WSDLtoJava exec file这种方法转换而来,这个的话是不是要写WSDL?怎么回事?rnrn3x!
ssh中配置文件都是怎么配的
想请教一下,ssh的配置文件都是怎么配的rn像struts-config.xml要配在web.xml里rnspring 的applicationContext.xml配置在哪里rn还有hibernate 得hibernate.cfg.xml 在所在的配置文件里都是怎么写的rn谁能给个例子不,简单点的 rn小弟邮箱 zhangxiaoqi@yeah.net
EJB3.0的persistence.xml配置文件怎么写
是发布到WebLogic服务器的EJB3.0的persistence.xml配置文件怎么来写,连接的数据库是Sql Server2008rn
web.config配置文件要怎么写
想把一个网站放在空间里面的某个文件夹里面,web配置文件该怎么写?
[ Linux ] Samba配置文件怎么写
配置samba的时候会用到配置文件,如果不知道怎么配置samba看☞这里 因为有一些其他的参数需要配置,所以在此记录一下 先说一下背景:主要就是一个文件夹,只能一个用户来操作查看,其他用户不可以看 [GoodGoodStudy] comment=DayDayUp path= /Learn/Student writable=yes cr...
winform的配置文件是什么?怎么写?
如题
这种情况,怎么写配置文件???
参数配置中有3个结构体,加起来有30个左右需要配置的参数,用什么方法把这些参数存入配置文件,再读取出来 。。rn本来想用INIFILE但参数太多,实现起来觉得代码写的太多了,有没有更好一些的方法。。
国内原创的Delphi站点几乎没有,总是抄来抄去的,现在终于有个原创的Delphi站点了,散分!
国内第一个Delphi原创资源站点今天开张了!rn原创技术文章,原创控件,原创软件源码,都是我写的!rn近十个共享软件的源码,二十多个控件源码,三十余篇技术文章,全是原创,赶紧去看吧!rn热切盼望与大家交流!rnhttp://lingke.nease.net/rn
怎么才能有写程序的思路
【提问】   老师,您好!请教一下写一个程序的整体思路是什么样的? 看老师写的程序基本都能看明白,但自己写的时候,思路有点混乱,不知道先写什么,后写什么!逻辑前后联系在写程序之前,好多都考虑不到。 【答复】   若论步骤、思路,各种书上写得多的是了,认真读一读,比我在这里罗嗦几句管用得多。对于实践而言,除了能够按“套路”演练之外,...