elasticsearch 如何批量删除重复数据？

elasticsearch中录入了许多重复数据，比如说我有username和password两个字段，elasticsearch中拥有许多username和password两个字段都一样但是id不一样的记录，该如何删除重复的数据只保留一条呢？在线等，挺急的。如下图

目前共有一亿八千多万document，重复的估计得有个几千万

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

4条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
Cry_King 2017-12-22 17:18
关注
可以自己写个工具，遍历所有数据，之后把当前数据的过滤条件拿出来，再进行组合查询，如果count>1,则删除留下一个。当然机器性能好可能会过滤快点

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(3条)

报告相同问题？

关注问题

elasticsearch 如何批量删除重复数据？ elasticsearch
2017-12-22 13:27

回答 4 已采纳可以自己写个工具，遍历所有数据，之后把当前数据的过滤条件拿出来，再进行组合查询，如果count>1,则删除留下一个。当然机器性能好可能会过滤快点
关于elasticsearch数据保存时间问题 elasticsearch java
2021-09-13 18:10

回答 1 已采纳不主动配置生命周期的情况是永久啊
Elasticsearch查询不出数据 elasticsearch
2021-01-15 13:51

回答 4 已采纳 GET /article/_doc/_search 是不是这样哦，
elasticsearch进行批量插入的时候总是少数据
2021-01-07 08:59

现在导致数据被删除的情况应该是a表和b表的主键id重复，es默认mysql中的 id 为主键并且document 的_id 和id保持一致，导致a表中的数据被删除掉了（替换掉了）三、解决方案新建一个字段保存数据库的id 主键数据，...
elasticsearch查询出来的json数据转换成Java对象失败 elasticsearch java 有问必答
2022-03-10 14:51

回答 3 已采纳多了一层对象。这么测试是可以的。 String source="{\"score\":44,\"address\":\"东方路838号\",\"business\":\"浦东陆家嘴金融贸易区\",\"
ES的聚合搜索可以对所有数据进行分组吗？ elasticsearch java 有问必答
2021-09-06 20:32

回答 1 已采纳 terms支持一个size参数
Java程序向elasticsearch服务器发出搜索请求 elasticsearch java javascript 全文检索搜索引擎
2020-09-22 21:01

回答 1 已采纳 https://blog.csdn.net/ROAOR1/article/details/88356225
es-dedupe:用于从Elasticsearch删除重复文档的工具
2021-05-05 06:17

ES重迭用于删除按某些唯一字段（例如--field Uuid ）分组的重复文档的工具。删除过程包括两个阶段：汇总查询查找具有相同field值且至少出现2次的文档。此类文档的一份副本留在ES中，其他副本则通过批量API删除...
请问沙箱cuckoosandbox2.0.7的elasticsearch搜索怎么配置？ python 数据库
2023-02-13 20:39

回答 1 已采纳回答不易求求您采纳点赞哦感激不尽如果您的 Cuckoo Sandbox 2.0.7 安装没有安装 Elasticsearch，您需要安装它才能使用搜索功能。您可以通过以下步骤来安装 Ela
如何清理Elasticsearch自动生成的ID？ elasticsearch php
2016-10-10 14:17

回答 1 已采纳 Should I validate elasticsearch ID ? If you want. You could check that only alphanumerics, +,
Elasticsearch 7.8版本能和JDK8完美匹配吗？ elasticsearch
2022-01-03 10:26

回答 1 已采纳 ES7.8版本的官网说明：https://www.elastic.co/guide/en/elasticsearch/reference/7.8/targz.html7.8版本的 JAVA需求：htt
Python中elasticsearch插入和更新数据的实现方法
2020-09-20 16:14

在当今的大数据时代，越来越多的开发者开始使用Elasticsearch搜索引擎来建立索引、存储数据，并执行复杂的搜索查询。Elasticsearch是一个基于Lucene构建的开源搜索引擎，其具有分布式多用户的特性，可以提供实时搜索...
如何使用这种架构在Elastic Search中复制索引？ elasticsearch
2019-08-06 08:54

回答 1 已采纳 The concept you're after is an index alias. The basic workflow would be: Import today's data int
Elasticsearch：消除 Elasticsearch 中的重复数据
2021-04-07 12:21

Elastic 中国社区官方博客的博客重复数据在数据分析和搜索中会造成错误。在我们的实际使用中，我们应该避免重复导入的数据。重复数据有各种原因会造成。比如我们重复导入同样的数据。当我们写入文档时使用自动生成的 ID，那么同样的文档被导入两次...
shell脚本批量删除es索引的方法
2020-09-15 01:12

在IT行业中，Elasticsearch（简称ES）是一个广泛使用的分布式搜索引擎，它提供了高效的数据存储、检索和分析功能。然而，随着时间的推移，系统中可能会积累大量的旧索引，这可能导致资源浪费，甚至影响到集群的性能...
没有解决我的问题, 去提问

悬赏问题

¥15 【求职】怎么找到一个周围人素质都很高不会欺负他人，并且未来月薪能够达到一万以上（技术岗）的工作？希望可以收到写有具体，可靠，已经实践过了的路径的回答？
¥15 Java+vue部署版本反编译
¥100 对反编译和ai熟悉的开发者。
¥15 带序列特征的多输出预测模型
¥15 Python 如何安装 distutils模块
¥15 关于#网络#的问题：网络是从楼上引一根网线下来，接了2台傻瓜交换机，也更换了ip还是不行
¥15 资源泄露软件闪退怎么解决？
¥15 CCF-CSP 2023 第三题解压缩(50％)
¥30 comfyui openpose报错
¥20 Wpf Datarid单元格闪烁效果的实现

elasticsearch 如何批量删除重复数据？

4条回答 默认 最新

悬赏问题

4条回答默认最新