logstash 全部 | 未解决 | 已解决
2018.09.29 13:16来自

logstash全量同步mysql百万级别数据问题?

mysql单表数据大概300万左右。全量同步的时候每次同步到20000的时候就会报错。 ``` [WARN ][logstash.inputs.jdbc ] Exception when executi...
2

回答

2018.09.05 01:13来自 前世情人 悬赏 5C

谁能有个原创的怎么教人写logstash配置文件?网上都是抄来抄去的,根本看不懂

没用过logstash,看了好长时间,也把日志全都整理成了纯JSON格式,但按照网上看来看去的所谓的教程,完全写不出来
5

回答

2018.05.07 03:18来自 freshman_fresh 悬赏 5C

[已解决] 关于logstash从mysql导数到es中之后,sql中写的字段自动变小写,导致es查询不出数据。

select id,taskCode,taskSign,riskCode,classCode,policyCodes,createTime,updatTime from f_policytask 导入之后查询出数据...
2

回答

2018.01.30 11:43来自 https://my.csdn.net/VIZuoYaoTan 悬赏 5C

slf4j+logback+logstash把自定的字段与原始的日志信息一起写入到ES

slf4j+logback+logstash把生成的日志用logstash插入到ES,插入到ES默认的字段不满足需求,我现在需要再增加五个自定义字段以及默认的字段,用logstash一起存到ES,这自定的五个字段的...
2

回答

2018.01.18 09:08来自 qq_38555554 悬赏 5C

logstash如何全量同步mysql数据?下次同步前如果删除type中的数据?

现在的问题是每次同步都是全量,导致每同步一次,表中的所有数据都会再同步一次,然后es中就会出现很多重复的数据。 请问各位大神们,如果避免这种情况。
1

回答

2018.01.11 03:10来自 soputasmile11 悬赏 5C

[已解决] Logstash 读取日志文件,增量

input { file { path => "/usr/local/elk/mos-log/mt.log" type => "mos-mt-log" codec => m...
6

回答

2017.11.14 10:07来自 小段大帅

logstash怎么收集主机各种日志

现在有个需求,就是收集一个主机(windows,Linux)的各种日志,包括系统、应用、 服务、流量日志等。 目前考虑的手段是用logstash采集,发送到elasticsearch中。 就是不是很懂logs...
1

回答

2017.11.13 09:54来自 blueness_sunshine 悬赏 5C

logstash同步数据mysql一对多数据结构的情况?

学生表student和课程表class一对多关系, 学生表student和兴趣interest表一对多关系, 想要将三个表同步到一个索引里面,通过ES一次性查询到学生信息、学生的课程数组、学生的兴趣数组; ...
4

回答

2017.09.29 02:47来自 qq_37942900 悬赏 20C

logstash获取数据后缀名

我用split把 ![图片说明](https://img-ask.csdn.net/upload/201709/29/1506652982_908079.png) 这类数据用点隔开得到结果是![图片说明](http...
1

回答

2017.09.19 06:12来自 qq_37942900 悬赏 100C

[已解决] logstash处理nginx日志

![图片说明](https://img-ask.csdn.net/upload/201709/19/1505801241_461459.png) 这是一条nginx日志 这样的日志还有很多条 我想用logstash...
3

回答