现在的问题是每次同步都是全量，导致每同步一次，表中的所有数据都会再同步一次，然后es中就会出现很多重复的数据。
请问各位大神们，如果避免这种情况。
logstash如何全量同步mysql数据？下次同步前如果删除type中的数据？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答
- 2021-12-28 15:11回答 1 已采纳 type"=>"illegal_argument_exception", "reason"=>"For input string: "2021-12-28T14:40:16.000Z"
- 2022-08-08 21:31回答 1 已采纳 我在尝试使用和你一样的配置可以正常输出，你可以尝试修改filebeat的配置注释调不需要的output，然后output logstash的hosts使用127.0.0.1:5044防止DNS污染问题
- 2018-05-07 03:18回答 2 已采纳 结贴，我自己知道了。
- 2019-04-23 22:55lumengmeng_csdn的博客 在mysql数据同步到ES中，发现第一次同步时需要全量的数据，之后则需要定时去同步增量数据，使用logstash需要了解一下事项（注意：更新周期最快是1分钟） 1、凡是SQL可以实现的logstash均可以实现（本就是通过sql...
- 2022-11-03 09:30回答 1 已采纳 你看下这篇博客吧, 应该有用👉 ：Logstash之TCP插件
- 2019-08-07 17:31回答 1 已采纳 这多半是数据库连接的问题 https://blog.csdn.net/zl570932980/article/details/77864157
- 2022-09-23 11:31回答 2 已采纳 实际是可以通过filebeat 的fields 字段来区分的。注意YML文件的输入格式，这点很重要，实际这个问题不存在。结题。
- 2020-09-08 14:41不会飞的冬节鸽的博客 上一篇文章我们讨论了ELK框架日志系统的搭建，这次我们通过Logstash和ES实现MySQL数据全量增量同步。 MySQL数据同步与日志同步唯一不同的地方在于logstash配置文件的不同而已，下面我们开始介绍详细配置过程： 一、...
- 回答 1 已采纳 https://blog.csdn.net/momoudong/article/details/82017852
- 2022-10-31 10:28回答 2 已采纳 你可以看下这个问题的回答https://ask.csdn.net/questions/7721331我还给你找了一篇非常好的博客，你可以看看是否有帮助，链接：logstash使用时遇见的报错
- 2019-07-25 23:20回答 1 已采纳 这个帖子可以解决你的问题 https://github.com/elastic/logstash/issues/8901
- 2022-06-12 23:17斗者_2013的博客 很多时候，在项目初期都是仅采用mysql数据库作为业务数据库，但是随着数据的增长，当单表的数据超过千万级后，在怎么对查询SQL语句进行优化性能都不...本文给大家介绍通过Logstash实现mysql数据定时增量同步到ES。...
- 2017-06-09 07:21回答 2 已采纳 看我博客里面有，转换@timestamp，好用记得采纳 谢谢
- 2021-08-14 12:22陆小叁的博客 文章目录前言实现方案全量和增量同步SpringBoot集成Elasticearch 前言 在实际开发项目过程当中，难免会使用到Elasticsearch做搜索。...使用Elastic官方提供的 Logstash 来实现Mysql的全量和增量同步（根据
- Gavin~的博客 进入主题了，我们的目标是同步mysql的数据到elasticsearch中，如果是单单使用logstash的话，存在延迟一分钟的，又如果是使用canal的话，不能实现全量，所以只能结合两个一起用了，准备工具有 logstash-6.8.13,...
- 没有解决我的问题, 去提问
