dxsksk 2011-01-04 10:37
浏览 718
已采纳

Lucene全文检索去重问题

比如一个论坛的主题，，加答的内容有多个

例子：
spring是怎么？

回答一：spring是。。。。AA。。

回答二：spring是 BB

这样一来，你搜索回答spring时，就会出现多个”spring是怎么“的标题。。。。
Lucene里面提供了一个DuplicateFilter去重，，，不过这有个问题，，，他在去重时，只保留最后一条或最后一条，把其他的　忽略掉，，，如过滤最后一条时（回答二时），，，我搜“BB”就不会关联出标题。。。

。。。。。给个解决方案

  • 写回答

6条回答 默认 最新

  • beneo 2011-01-04 15:43
    关注

    fiter不是用来过滤掉你不要的文档，而是你要的文档

    而且DuplicatedFilter因为位置的关系，“碰巧”让你碰到了最后一个或者第一个文档。。（你可以试试加入第三个文档，中文唯一的文档你永远弄不出来）

    DuplicatedFilter只能过滤duplicated的文档

    要解决这个办法，自己写出一个query，来合并结果集合

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(5条)

报告相同问题？

  • lucene全文检索小问题 lucene
    2010-10-05 23:31
    回答 1 已采纳 可能我没有很明白你的意思， 只好尝试回答了 lucence是基于field检索的 你只需要将引用对象的字段级联进去即可 举例 class A{String nameA} class B{
  • lucene在结果中多次检索问题 lucene
    2014-03-12 14:38
    回答 1 已采纳 lucene貌似是不支持这样的模式，但是可以考虑将第一次的搜索条件缓存、二次搜索时将两个搜索条件拼接在一起搜索，效果应该是类似的。
  • Lucene索引和检索中文文件的问题 lucene
    2013-04-16 21:58
    回答 3 已采纳 SearcherUtil 的索引目录错了 directory = FSDirectory.open(new File("F:/Lucene/test/indexDir1.2"));
  • lucence全文检索 按时间范围查询有没有接触过得大牛? lucene 全文检索
    2017-09-22 08:55
    回答 3 已采纳 按照官方api所说NumericDocValuesField是可以进行值检索的 使用FieldCacheRangeFilter可以进行范围查询
  • 学习lucene建立检索和搜索过程中遇到的错误 lucene
    2014-04-24 17:52
    回答 2 已采纳 Query query = parser.parse("document.txt"); 用全名称来搜，或者Query query = parser.parse("document*"); 因为St
  • lucene多条件搜索时or与and问题 lucene
    2013-06-08 08:23
    回答 3 已采纳 should戴表两个字段中必须有一个..must是必须都存在...你看看大小写啥的..有可能建索引的时候全都小写了
  • Lucene 索引去重
    2018-08-30 19:50
    車輪の唄的博客 在使用Lucene过程中，会发现当我们为添加新的Document时，会产生重复现象（两次添加同一个Document），毕竟Lucene中没有像数据库中一样，有键可以区分。不过我们可以通过为Document建立类似于键的域，来防止添加重复...
  • lucene5.4 中文单字搜索命中为0 lucene
    2017-05-20 13:36
    回答 2 已采纳 给你看我做百度网盘的时候用到lucene做的工具类， ``` /** * 索引类 * @author user * */ public class PanIndex {
  • 关于lucene的多条件查询问题 lucene
    2015-08-31 10:01
    回答 1 已采纳 ![图片说明](https://img-ask.csdn.net/upload/201508/31/1441015301_927666.png) 我现在这么写的效果是and es.city=1031
  • lucene+springboot+vue查询接口怎么编写 lucene spring boot vue.js
    2022-11-27 15:54
    回答 1 已采纳 你看下这篇博客吧, 应该有用👉 ：Lucene+springboot 实现一个简单的搜索
  • Lucene---全文检索(处理一对多去重问题 )
    2011-01-13 16:15
    dxsksk的博客 在处理如＂问答＂功能时，以答进行搜索，这时假就会出现去重问题－－－＞http://www.iteye.com/problems/56869     解决方案： １，写个线程管理器，用来存储当前查出的重复数据   /* * CopyRright (c) ...
  • SpringMVC Lucene 全文检索
    2016-07-13 11:08
    sw69366的博客 第一次接触Lucene 做个Demo  先看看效果，最终搜索就是这样的。 添加索引 url 没有过滤， 所以存在有些没有域名不可跳转的现象。  拿到源码后 这个索引路径需要修改一下， 代码包的里war 由于没有配置路径所以用...
  • 全文检索Lucene
    2020-09-26 21:33
    Restrained°的博客 数据库搜索坏处 1、 海量数据like查询效率低 在查询的时候sql会使用like检索，但是like使用的时候如果以通配符‘%’开始是不会...广义：对结构化数据先创建索引，然后从索引中检索的搜索。 狭义：对文本数据搜索 全文
  • lucene原理
    2024-06-16 23:20
    Android_chunhui的博客 由于Lucene进行关键词检索时需要加载索引段进行下一步搜索，如果索引段较多会增加较大的I/O开销，减慢检索速度，因此写入时会通过段合并策略对不同的段进行合并。：保存了不同前缀对应的相应的Term及相应的倒排表...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥20 iOS绕地区网络检测
  • ¥15 python验证码滑块图像识别
  • ¥15 根据背景及设计要求撰写设计报告
  • ¥15 QT6颜色选择对话框显示不完整
  • ¥20 能提供一下思路或者代码吗
  • ¥15 用twincat控制！
  • ¥15 请问一下这个运行结果是怎么来的
  • ¥15 单通道放大电路的工作原理
  • ¥30 YOLO检测微调结果p为1
  • ¥15 DS18B20内部ADC模数转换器