elasticsearch 如何批量删除重复数据？

elasticsearch中录入了许多重复数据，比如说我有username和password两个字段，elasticsearch中拥有许多username和password两个字段都一样但是id不一样的记录，该如何删除重复的数据只保留一条呢？在线等，挺急的。如下图

目前共有一亿八千多万document，重复的估计得有个几千万

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

4条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
Cry_King 2017-12-22 17:18
关注
可以自己写个工具，遍历所有数据，之后把当前数据的过滤条件拿出来，再进行组合查询，如果count>1,则删除留下一个。当然机器性能好可能会过滤快点

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(3条)

报告相同问题？

关注问题

elasticsearch 如何批量删除重复数据？ elasticsearch
2017-12-22 13:27

回答 4 已采纳可以自己写个工具，遍历所有数据，之后把当前数据的过滤条件拿出来，再进行组合查询，如果count>1,则删除留下一个。当然机器性能好可能会过滤快点
关于elasticsearch数据保存时间问题 elasticsearch java
2021-09-13 18:10

回答 1 已采纳不主动配置生命周期的情况是永久啊
Elasticsearch查询不出数据 elasticsearch
2021-01-15 13:51

回答 4 已采纳 GET /article/_doc/_search 是不是这样哦，
elasticsearch进行批量插入的时候总是少数据
2021-01-07 08:59

现在导致数据被删除的情况应该是a表和b表的主键id重复，es默认mysql中的 id 为主键并且document 的_id 和id保持一致，导致a表中的数据被删除掉了（替换掉了）三、解决方案新建一个字段保存数据库的id 主键数据，...
elasticsearch查询出来的json数据转换成Java对象失败 elasticsearch java 有问必答
2022-03-10 14:51

回答 3 已采纳多了一层对象。这么测试是可以的。 String source="{\"score\":44,\"address\":\"东方路838号\",\"business\":\"浦东陆家嘴金融贸易区\",\"
ES的聚合搜索可以对所有数据进行分组吗？ elasticsearch java 有问必答
2021-09-06 20:32

回答 1 已采纳 terms支持一个size参数
Java程序向elasticsearch服务器发出搜索请求 elasticsearch java javascript 全文检索搜索引擎
2020-09-22 21:01

回答 1 已采纳 https://blog.csdn.net/ROAOR1/article/details/88356225
es-dedupe:用于从Elasticsearch删除重复文档的工具
2021-05-05 06:17

ES重迭用于删除按某些唯一字段（例如--field Uuid ）分组的重复文档的工具。删除过程包括两个阶段：汇总查询查找具有相同field值且至少出现2次的文档。此类文档的一份副本留在ES中，其他副本则通过批量API删除...
请问沙箱cuckoosandbox2.0.7的elasticsearch搜索怎么配置？ python 数据库
2023-02-13 20:39

回答 1 已采纳回答不易求求您采纳点赞哦感激不尽如果您的 Cuckoo Sandbox 2.0.7 安装没有安装 Elasticsearch，您需要安装它才能使用搜索功能。您可以通过以下步骤来安装 Ela
如何清理Elasticsearch自动生成的ID？ elasticsearch php
2016-10-10 14:17

回答 1 已采纳 Should I validate elasticsearch ID ? If you want. You could check that only alphanumerics, +,
Elasticsearch 7.8版本能和JDK8完美匹配吗？ elasticsearch
2022-01-03 10:26

回答 1 已采纳 ES7.8版本的官网说明：https://www.elastic.co/guide/en/elasticsearch/reference/7.8/targz.html7.8版本的 JAVA需求：htt
Elasticsearch：消除 Elasticsearch 中的重复数据
2021-04-07 12:21

Elastic 中国社区官方博客的博客重复数据在数据分析和搜索中会造成错误。在我们的实际使用中，我们应该避免重复导入的数据。重复数据有各种原因会造成。比如我们重复导入同样的数据。当我们写入文档时使用自动生成的 ID，那么同样的文档被导入两次...
如何使用这种架构在Elastic Search中复制索引？ elasticsearch
2019-08-06 08:54

回答 1 已采纳 The concept you're after is an index alias. The basic workflow would be: Import today's data int
ElasticSearch7.1 java批量删除数据
2021-01-27 11:37

lbl251的博客 1、今天产品需求说要做es的数据导出，导出完后删除原有的数据 2、导出数据并跟据ID进行删除 3、上代码 @Override public void delete( List<String> lists) { BulkRequest request = new BulkRequest(); ...
shell脚本批量删除es索引的方法
2020-09-15 01:12

在IT行业中，Elasticsearch（简称ES）是一个广泛使用的分布式搜索引擎，它提供了高效的数据存储、检索和分析功能。然而，随着时间的推移，系统中可能会积累大量的旧索引，这可能导致资源浪费，甚至影响到集群的性能...
没有解决我的问题, 去提问

悬赏问题

¥15 在若依框架下实现人脸识别
¥15 网络科学导论，网络控制
¥100 安卓tv程序连接SQLSERVER2008问题
¥15 利用Sentinel-2和Landsat8做一个水库的长时序NDVI的对比，为什么Snetinel-2计算的结果最小值特别小，而Lansat8就很平均
¥15 metadata提取的PDF元数据，如何转换为一个Excel
¥15 关于arduino编程toCharArray()函数的使用
¥100 vc++混合CEF采用CLR方式编译报错
¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误，如何解决？
¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
¥15 c#逐行读取txt文本，但是每一行里面数据之间空格数量不同

elasticsearch 如何批量删除重复数据？

4条回答 默认 最新

悬赏问题

4条回答默认最新