elasticsearch中录入了许多重复数据,比如说我有username和password两个字段,elasticsearch中拥有许多username和password两个字段都一样但是id不一样的记录,该如何删除重复的数据只保留一条呢?在线等,挺急的。如下图 目前共有一亿八千多万document,重复的估计得有个几千万
收起
可以自己写个工具,遍历所有数据,之后把当前数据的过滤条件拿出来,再进行组合查询,如果count>1,则删除留下一个。当然机器性能好可能会过滤快点
报告相同问题?