elasticsearch中录入了许多重复数据，比如说我有username和password两个字段，elasticsearch中拥有许多username和password两个字段都一样但是id不一样的记录，该如何删除重复的数据只保留一条呢？在线等，挺急的。如下图
目前共有一亿八千多万document，重复的估计得有个几千万
elasticsearch 如何批量删除重复数据？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
4条回答
相关推荐 更多相似问题
- 2017-12-22 13:27回答 4 已采纳 可以自己写个工具，遍历所有数据，之后把当前数据的过滤条件拿出来，再进行组合查询，如果count>1,则删除留下一个。当然机器性能好可能会过滤快点
- 2021-09-13 18:10回答 1 已采纳 不主动配置生命周期的情况是永久啊
- 2021-01-15 13:51回答 4 已采纳 GET /article/_doc/_search 是不是这样哦，
- 2021-01-07 08:59现在导致数据被删除的情况应该是a表和b表的主键id重复，es默认mysql中的 id 为主键 并且document 的_id 和id保持一致， 导致a表中的数据被删除掉了（替换掉了） 三、解决方案 新建一个字段保存数据库的id 主键数据，...
- 2021-05-05 06:17ES重迭 用于删除按某些唯一字段（例如--field Uuid ）分组的重复文档的工具。 删除过程包括两个阶段： 汇总查询查找具有相同field值且至少出现2次的文档。 此类文档的一份副本留在ES中，其他副本则通过批量API删除...
- 没有解决我的问题, 去提问
