dxsksk 2011-01-04 10:37
浏览 717
已采纳

Lucene全文检索去重问题

比如一个论坛的主题，，加答的内容有多个

例子：
spring是怎么？

回答一：spring是。。。。AA。。

回答二：spring是 BB

这样一来，你搜索回答spring时，就会出现多个”spring是怎么“的标题。。。。
Lucene里面提供了一个DuplicateFilter去重，，，不过这有个问题，，，他在去重时，只保留最后一条或最后一条，把其他的　忽略掉，，，如过滤最后一条时（回答二时），，，我搜“BB”就不会关联出标题。。。

。。。。。给个解决方案

  • 写回答

6条回答 默认 最新

  • beneo 2011-01-04 15:43
    关注

    fiter不是用来过滤掉你不要的文档，而是你要的文档

    而且DuplicatedFilter因为位置的关系，“碰巧”让你碰到了最后一个或者第一个文档。。（你可以试试加入第三个文档，中文唯一的文档你永远弄不出来）

    DuplicatedFilter只能过滤duplicated的文档

    要解决这个办法，自己写出一个query，来合并结果集合

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(5条)

报告相同问题？

  • Lucene全文检索去重问题 lucene
    2011-01-04 10:37
    回答 6 已采纳 fiter不是用来过滤掉你不要的文档，而是你要的文档 而且DuplicatedFilter因为位置的关系，“碰巧”让你碰到了最后一个或者第一个文档。。（你可以试试加入第三个文档，中文唯一的文档你
  • lucene全文检索小问题 lucene
    2010-10-05 23:31
    回答 1 已采纳 可能我没有很明白你的意思， 只好尝试回答了 lucence是基于field检索的 你只需要将引用对象的字段级联进去即可 举例 class A{String nameA} class B{
  • lucene在结果中多次检索问题 lucene
    2014-03-12 14:38
    回答 1 已采纳 lucene貌似是不支持这样的模式，但是可以考虑将第一次的搜索条件缓存、二次搜索时将两个搜索条件拼接在一起搜索，效果应该是类似的。
  • Lucene 索引去重
    2018-08-30 19:50
    車輪の唄的博客 在使用Lucene过程中，会发现当我们为添加新的Document时，会产生重复现象（两次添加同一个Document），毕竟Lucene中没有像数据库中一样，有键可以区分。不过我们可以通过为Document建立类似于键的域，来防止添加重复...
  • Lucene索引和检索中文文件的问题 lucene
    2013-04-16 21:58
    回答 3 已采纳 SearcherUtil 的索引目录错了 directory = FSDirectory.open(new File("F:/Lucene/test/indexDir1.2"));
  • lucence全文检索 按时间范围查询有没有接触过得大牛? lucene 全文检索
    2017-09-22 08:55
    回答 3 已采纳 按照官方api所说NumericDocValuesField是可以进行值检索的 使用FieldCacheRangeFilter可以进行范围查询
  • 学习lucene建立检索和搜索过程中遇到的错误 lucene
    2014-04-24 17:52
    回答 2 已采纳 Query query = parser.parse("document.txt"); 用全名称来搜，或者Query query = parser.parse("document*"); 因为St
  • SpringMVC Lucene 全文检索
    2016-07-13 11:08
    sw69366的博客 第一次接触Lucene 做个Demo  先看看效果，最终搜索就是这样的。 添加索引 url 没有过滤， 所以存在有些没有域名不可跳转的现象。  拿到源码后 这个索引路径需要修改一下， 代码包的里war 由于没有配置路径所以用...
  • lucene多条件搜索时or与and问题 lucene
    2013-06-08 08:23
    回答 3 已采纳 should戴表两个字段中必须有一个..must是必须都存在...你看看大小写啥的..有可能建索引的时候全都小写了
  • lucene5.4 中文单字搜索命中为0 lucene
    2017-05-20 13:36
    回答 2 已采纳 给你看我做百度网盘的时候用到lucene做的工具类， ``` /** * 索引类 * @author user * */ public class PanIndex {
  • 关于lucene的多条件查询问题 lucene
    2015-08-31 10:01
    回答 1 已采纳 ![图片说明](https://img-ask.csdn.net/upload/201508/31/1441015301_927666.png) 我现在这么写的效果是and es.city=1031
  • Lucene---全文检索(处理一对多去重问题 )
    2011-01-13 16:15
    dxsksk的博客 在处理如＂问答＂功能时，以答进行搜索，这时假就会出现去重问题－－－＞http://www.iteye.com/problems/56869     解决方案： １，写个线程管理器，用来存储当前查出的重复数据   /* * CopyRright (c) ...
  • java lucene的搜索和翻页效率？ java lucene
    2018-05-09 07:26
    回答 3 已采纳 检索分页本来就很慢,你没觉得百度只有前几页的数据有效，后几页的数据基本就没用或者和前几页很一样
  • 全文检索Lucene
    2020-09-26 21:33
    Restrained°的博客 数据库搜索坏处 1、 海量数据like查询效率低 在查询的时候sql会使用like检索，但是like使用的时候如果以通配符‘%’开始是不会...广义：对结构化数据先创建索引，然后从索引中检索的搜索。 狭义：对文本数据搜索 全文
  • 基于Lucene垂直搜索引擎的研究与开发实践报告
    2023-02-06 15:32
    头顶黑黑草原的博客 在查询界面中设置了两个模块，分别具有搜索书籍和搜索新闻的功能每一页显示十条内容可根据页码进行页面间的跳转。在查询时使用组合查询，同时在 fileContent 和 fileName 两个域中查找关 键词，从而实现在标题和内容...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 如何获取烟草零售终端数据
  • ¥15 数学建模招标中位数问题
  • ¥15 phython路径名过长报错 不知道什么问题
  • ¥15 深度学习中模型转换该怎么实现
  • ¥15 HLs设计手写数字识别程序编译通不过
  • ¥15 Stata外部命令安装问题求帮助！
  • ¥15 从键盘随机输入A-H中的一串字符串，用七段数码管方法进行绘制。提交代码及运行截图。
  • ¥15 TYPCE母转母，插入认方向
  • ¥15 如何用python向钉钉机器人发送可以放大的图片？
  • ¥15 matlab（相关搜索：紧聚焦）