有一个案例：后端两台logstash去消费obs桶中数据 （以前是单台，但是发现每次一台logstash都消费不完桶里面的数据，所以想着后端配置两台提高处理数据的能力，）。logstash input配置s3插件的时候。delete => true,和interval => 60,发现后端两台logstash消费桶里数据会有重复，不是已经配置了delete了吗，消费了就删除了桶中的数据了。为啥还会有重复，不理解，困扰我很久了。
1条回答 默认 最新
三千烦恼丝xzh 2022-08-11 10:50关注如果你使用资源没有锁定机制，这样两个logstash可能同时在处理一个文件自然可能重复，可以把数据存储到多个桶隔离开来消费
解决 无用评论 打赏举报
分享
- 2022-10-31 10:28回答 2 已采纳 你可以看下这个问题的回答https://ask.csdn.net/questions/7721331我还给你找了一篇非常好的博客，你可以看看是否有帮助，链接：logstash使用时遇见的报错
- 2017-06-09 07:21回答 2 已采纳 看我博客里面有，转换@timestamp，好用记得采纳 谢谢
- 2021-10-26 16:57回答 1 已采纳 经查询，代码中执行命令时，在后面加上 >out.log 2>&1 & 即可在代码中正常启动，完整的命令nohup /opt/logstash/logstash-7.5.0/bin/logs
- 2023-08-21 09:27宁漂打工仔的博客 这个配置文件的作用是，根据不同的输入路径和类型的日志，Filebeat 将日志数据收集并发送到 Logstash 进行进一步的处理和分发。是一个非常强大的数据收集和处理工具，适用于将各种类型的数据从不同的来源收集、处理...
- 2021-03-12 15:45回答 2 已采纳 先检查两个地方吧： 1./var/log/messages 和 /var/log/secure 下面有数据写入 （如果有数据写入，可以把logstash output 改为打印到控制台，看看logs
- 2017-09-19 06:12回答 3 已采纳 或者直接使用正则的方式 http://www.cnblogs.com/Orgliny/p/5592186.html
- 2021-12-28 15:11回答 1 已采纳 type"=>"illegal_argument_exception", "reason"=>"For input string: "2021-12-28T14:40:16.000Z"
- 2020-02-11 19:08Elastic 中国社区官方博客的博客 Logstash附带了许多input，codec，filter和output插件，可用于从各种应用程序，服务器和网络通道中检索，转换，过滤和发送日志和事件。如果大家对Logstash还没有初步的了解，请参阅我之前的文章： 如何安装Elastic...
- 2017-02-20 03:53回答 1 已采纳 Your problem can be solved very simply by changing the name of your timestamp variable since @time
- 2018-01-11 03:10回答 7 已采纳  ## start_position 参数放在fi
- 2022-07-25 18:29回答 1 已采纳 什么安全代码权限？
- 2023-06-26 08:31Elastic 中国社区官方博客的博客 在我之前的文章 “Observability：如何把 Elastic Agent 采集的数据输入到 Logstash 并最终写入到 Elasticsearch”，我详细介绍了如何使用 Elastic Agents 采集数据并把数据通过 Logstash 发送至 Elasticsearch。...
- 2022-05-18 10:22回答 1 已采纳 可能时间同步的问题，看下记录的时间值和数据库被追踪的值是否一致；在Logstash的input设置下追踪字段 tracking_column => ""tracking_column_typ
- 2023-02-27 09:00NOWSHUT的博客 博文主要介绍了如何安装Logstash和Kibana，同时给出了配置示例，对其配置文件关键参数做出说明。
- 2019-10-21 20:56琴 韵的博客 1.部署和扩展Logstash 1.1.入门指南 1.2.介绍Logstash 1.3.缩放摄取（Scaling Ingest） 1.4.Beats与Logstash 1.5.可扩展性（Scalability） 1.6.弹性（Resiliency） 1.7.处理（Processing） 1.8.安全传输...
- 没有解决我的问题, 去提问
