Elasticsearch大数据下怎么去重？
目前Elasticsearch集群中索引中有7亿条数据，1Tb,字段10个，要求对账号字段进行去重，返回全部的不重复账号。
使用Filnk或者spark全量扫描数据，对于集群压力太大，请问有别的方法吗
Elasticsearch大数据怎么去重
- 写回答
- 好问题 0 提建议
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2024-06-17 16:55苍煜的博客 1.hits中total的总条数实际上是去重前的总条数，原数据条数，这里我们知道就行，分页中我们并不使用它。hits中数组的大小刚好等于courseAgg聚合的值，数组中的数据就是去重后的数据。结果：distinct_count = 3,说明...
- 2022-08-30 15:12天空依旧的博客 1、根据多个属性组合查询是否有重复数据。elasticsearch 去重。2、通过pipeline去重。
- 2018-06-28 15:45小红_Su的博客 做这个去重，是基于前同事的基础上做改造，原来是用的simHash算法做文本相似计算，上网查了下，simHash算法是相对来说，在大数据领域比较受欢迎的查重算法，话不多说，来一步步说下我的设计之路。 一、先简单介绍下...
- 2023-04-28 21:09小熊猫甜甜的博客 在elastic search中使用json实现查询功能，与sql语言不同，理解起来要复杂一些，尤其是一些嵌套关系时。对于一些特殊查询要求，记录下来供方便使用。
- 2017-11-10 15:43Joker_Coding的博客 BloomFilter（大数据去重）+Redis（持久化）策略背景之前在重构一套文章爬虫系统时，其中有块逻辑是根据文章标题去重，原先去重的方式是，插入文章之前检查待插入文章的标题是否在ElasticSearch中存在，这无疑加重了...
- 2025-09-01 21:55AI大数据智能洞察的博客 想象你经营着一家大型电商平台，每天有10亿条用户行为日志需要存储和分析，营销...我们会覆盖从索引设计、查询优化到集群配置、JVM调优的全链路技巧，确保你的ES集群在大数据压力下依然“身轻如燕”。先“望闻问切”
- 2025-09-16 18:50AI智能架构工坊的博客 Elasticsearch（以下简称 ES）作为分布式搜索与分析引擎，其聚合分析功能能高效处理 PB 级数据的统计分析任务。聚合分析的三大核心类型（桶、指标、管道）的技术实现复杂聚合场景的建模与查询优化与 Kibana 集成实现...
- 2025-09-09 18:09AI架构全栈开发实战笔记的博客 而 Elasticsearch 虽擅长搜索，但直接处理高并发实时数据流（如每秒10万条的商品变更）时，可能因写入压力导致延迟。此时，Kafka 作为"数据缓冲带"的价值就凸显了——它能高效接收海量实时数据，并按顺序分发给 ...
- 2022-09-02 11:46m0_67402970的博客 es在使用cardinality实现count(distinct)时会在准确性和及时性上做一定的取舍。可以在使用cardinality时，配置下面的参数来增加准确性，牺牲的是时间和内存。Elasticsearch 去重统计 按照deviceId 去重统计总数。
- 2024-06-28 23:33程序员1970的博客 性能：对于大数据集，collapse可能更高效，因为它避免了复杂的聚合计算。然而，实际性能还取决于具体的使用场景和数据分布。结果丰富性：字段聚合+top_hits可以返回更丰富的信息，包括分组大小和多个代表文档。而...
- 没有解决我的问题, 去提问
问题事件
创建了问题
7月5日