聆听--风雨 2017-12-22 13:27 采纳率: 100%
浏览 7690
已采纳

elasticsearch 如何批量删除重复数据?

elasticsearch中录入了许多重复数据,比如说我有username和password两个字段,elasticsearch中拥有许多username和password两个字段都一样但是id不一样的记录,该如何删除重复的数据只保留一条呢?在线等,挺急的。如下图
图片说明
目前共有一亿八千多万document,重复的估计得有个几千万
图片说明

  • 写回答

4条回答 默认 最新

  • Cry_King 2017-12-22 17:18
    关注

    可以自己写个工具,遍历所有数据,之后把当前数据的过滤条件拿出来,再进行组合查询,如果count>1,则删除留下一个。当然机器性能好可能会过滤快点

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题?

悬赏问题

  • ¥15 django5安装失败
  • ¥60 ios系统storm sniffer 写入http规则加密如何破解?
  • ¥15 Java与Hbase相关问题
  • ¥15 后缀 crn 游戏文件提取资源
  • ¥15 ANSYS分析简单钎焊问题
  • ¥20 bash代码推送不上去 git fetch origin master #失败了
  • ¥15 LOL外服加入了反作弊系统,现在游戏录像rofl文件离线都无法打开
  • ¥15 在centos7安装conda
  • ¥15 c#调用yolo3 dll文件获取的数据对不上
  • ¥20 WPF 如何实现多语言,label 和cs(live Charts)中是否都能翻译