elasticsearch 如何批量删除重复数据？

elasticsearch中录入了许多重复数据，比如说我有username和password两个字段，elasticsearch中拥有许多username和password两个字段都一样但是id不一样的记录，该如何删除重复的数据只保留一条呢？在线等，挺急的。如下图

目前共有一亿八千多万document，重复的估计得有个几千万

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

4条回答默认最新

关注

码龄粉丝数原力等级 --

被采纳

被点赞

采纳率
Cry_King 2017-12-22 17:18
关注
可以自己写个工具，遍历所有数据，之后把当前数据的过滤条件拿出来，再进行组合查询，如果count>1,则删除留下一个。当然机器性能好可能会过滤快点

本回答被题主选为最佳回答 , 对您是否有帮助呢?

解决无用
评论打赏
分享
举报

评论

按下Enter换行，Ctrl+Enter发表内容

查看更多回答(3条)

报告相同问题？

关注问题

elasticsearch 如何批量删除重复数据？ elasticsearch
2017-12-22 13:27

回答 4 已采纳可以自己写个工具，遍历所有数据，之后把当前数据的过滤条件拿出来，再进行组合查询，如果count>1,则删除留下一个。当然机器性能好可能会过滤快点
关于elasticsearch数据保存时间问题 elasticsearch java
2021-09-13 18:10

回答 1 已采纳不主动配置生命周期的情况是永久啊
Elasticsearch查询不出数据 elasticsearch
2021-01-15 13:51

回答 4 已采纳 GET /article/_doc/_search 是不是这样哦，
elasticsearch进行批量插入的时候总是少数据
2021-01-07 08:59

现在导致数据被删除的情况应该是a表和b表的主键id重复，es默认mysql中的 id 为主键并且document 的_id 和id保持一致，导致a表中的数据被删除掉了（替换掉了）三、解决方案新建一个字段保存数据库的id 主键数据，...
elasticsearch查询出来的json数据转换成Java对象失败 elasticsearch java 有问必答
2022-03-10 14:51

回答 3 已采纳多了一层对象。这么测试是可以的。 String source="{\"score\":44,\"address\":\"东方路838号\",\"business\":\"浦东陆家嘴金融贸易区\",\"
ES的聚合搜索可以对所有数据进行分组吗？ elasticsearch java 有问必答
2021-09-06 20:32

回答 1 已采纳 terms支持一个size参数
Java程序向elasticsearch服务器发出搜索请求 elasticsearch java javascript 全文检索搜索引擎
2020-09-22 21:01

回答 1 已采纳 https://blog.csdn.net/ROAOR1/article/details/88356225
es-dedupe:用于从Elasticsearch删除重复文档的工具
2021-05-05 06:17

ES重迭用于删除按某些唯一字段（例如--field Uuid ）分组的重复文档的工具。删除过程包括两个阶段：汇总查询查找具有相同field值且至少出现2次的文档。此类文档的一份副本留在ES中，其他副本则通过批量API删除...
请问沙箱cuckoosandbox2.0.7的elasticsearch搜索怎么配置？ python 数据库
2023-02-13 20:39

回答 1 已采纳回答不易求求您采纳点赞哦感激不尽如果您的 Cuckoo Sandbox 2.0.7 安装没有安装 Elasticsearch，您需要安装它才能使用搜索功能。您可以通过以下步骤来安装 Ela
如何清理Elasticsearch自动生成的ID？ elasticsearch php
2016-10-10 14:17

回答 1 已采纳 Should I validate elasticsearch ID ? If you want. You could check that only alphanumerics, +,
Elasticsearch 7.8版本能和JDK8完美匹配吗？ elasticsearch
2022-01-03 10:26

回答 1 已采纳 ES7.8版本的官网说明：https://www.elastic.co/guide/en/elasticsearch/reference/7.8/targz.html7.8版本的 JAVA需求：htt
ElasticSearch7.1 java批量删除数据
2021-01-27 11:37

lbl251的博客 1、今天产品需求说要做es的数据导出，导出完后删除原有的数据 2、导出数据并跟据ID进行删除 3、上代码 @Override public void delete( List<String> lists) { BulkRequest request = new BulkRequest(); ...
如何使用这种架构在Elastic Search中复制索引？ elasticsearch
2019-08-06 08:54

回答 1 已采纳 The concept you're after is an index alias. The basic workflow would be: Import today's data int
Elasticsearch：消除 Elasticsearch 中的重复数据
2021-04-07 12:21

Elastic 中国社区官方博客的博客重复数据在数据分析和搜索中会造成错误。在我们的实际使用中，我们应该避免重复导入的数据。重复数据有各种原因会造成。比如我们重复导入同样的数据。当我们写入文档时使用自动生成的 ID，那么同样的文档被导入两次...
Elasticsearch（ES）的滚动搜索与批量操作
2021-09-22 18:33

追风人聊Java的博客今天我们来聊一下Elasticsearch（ES）的滚动搜索与批量操作。 2. Elasticsearch（ES）的滚动搜索 2.1 概述滚动搜索我们经常能够用到，例如：推荐列表，此类列表通常不需要分页，而是一直上滑刷新。滚动搜索...
没有解决我的问题, 去提问

悬赏问题

¥15 fluent的在模拟压强时使用希望得到一些建议
¥15 STM32驱动继电器
¥15 Windows server update services
¥15 关于#c语言#的问题：我现在在做一个墨水屏设计，2.9英寸的小屏怎么换4.2英寸大屏
¥15 模糊pid与pid仿真结果几乎一样
¥15 java的GUI的运用
¥15 Web.config连不上数据库
¥15 我想付费需要AKM公司DSP开发资料及相关开发。
¥15 怎么配置广告联盟瀑布流
¥15 Rstudio 保存代码闪退

elasticsearch 如何批量删除重复数据？

4条回答 默认 最新

悬赏问题

4条回答默认最新