osborn0221 2013-05-06 14:20
浏览 380
已采纳

lucene怎样在做增量索引的同时更新旧数据？

现在的项目要求做近实时索引，大约15分钟更行一次。数据会不断新增，而旧数据也会经常被修改。我计划用增量索引来做，根据数据库的更新时间来添加文档。但被更新的文档可能索引里已经有了，添加之后数据可能会重复。

请问如何消除这种重复的可能性，是每添加一个document时都先查一下索引里是不是已经有，还是记录数据库所有的修改操作并将id放到队列里，跑索引的时候一起更新？请问lucene有没有更好的内部机制解决这个问题，比如能不能像数据库一样指定unique的字段？

  • 写回答

1条回答 默认 最新

  • xiao_phoenix 2013-05-06 23:13
    关注

    方案1: 你修改的数据 加一个触发器 如果你要索引的字段被改动后
    把id插入另一张表里 然后跑定时任务 根据这些ID查找出要索引的数据 定时的构建索引 然后再把这些IDdelete掉

    方案2: 用solr 数据更新量不是太大的话 修改了数据可以实时请求solr
    查询也可以用solr提供的api 数据更新量太大了 还是定时请求solr

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • lucene更新索引，被更新索引的还在，还能被搜索到 lucene
    2011-08-22 11:52
    回答 5 已采纳 删除的还在，那是你根本没删除掉。删除数据时候一定要保持数据库，缓存和索引都删除干净。
  • 关于java搜索引擎lucene为数据库做索引的一点不解？ lucene
    2009-07-24 09:37
    回答 1 已采纳 利用lucene之类的搜索引擎达到的效果和数据库查询优势是什么啊 lucene 比 数据库查询 要快. 数据库查询 搜索 相关文本 只能用 like ,like 不用使用索引,全文索引慢.
  • lucene怎样将文档中一部分内容建立索引？ lucene
    2012-06-01 09:56
    回答 1 已采纳 我感觉不用读出来再存文件吧,直接把读出来的内容简历索引呢,
  • 基于lucene技术的增量索引
    2017-05-15 11:39
    本文将深入探讨如何利用Lucene实现增量索引，这是一种在数据库或文件系统更新时仅对新数据或变化数据进行索引的技术，以降低资源消耗并保持搜索性能。 **1. Lucene基础知识** Lucene首先需要理解的是它的核心概念，...
  • Zend Lucene的索引文件在哪里？ php
    2011-05-29 09:49
    回答 1 已采纳 /tmp/search_index refers to the system root /tmp folder. Use some other path relative to your app,
  • 如何在Zend Lucene中将一组值存储到一个索引文档中？ lucene php
    2015-05-04 13:58
    回答 1 已采纳 I found the solution, I put all tickets into one column tickets and I store ticket codes there and
  • java lucene的搜索和翻页效率？ java lucene
    2018-05-09 07:26
    回答 3 已采纳 检索分页本来就很慢,你没觉得百度只有前几页的数据有效，后几页的数据基本就没用或者和前几页很一样
  • Lucene5学习之增量索引(Zoie)
    2019-08-10 01:02
    在实际应用中，每当有新的person数据插入或更新时，Zoie会监控到这些变化，然后对这些数据进行增量索引，确保索引始终保持最新状态。 总结起来，Lucene5学习之增量索引(Zoie)涉及到的关键技术点包括： 1. 基于...
  • lucene搜索的时候可以去掉重复的索引只取一条吗？ lucene
    2011-09-27 10:58
    回答 4 已采纳 应该不会有吧。 虽然两条数据一样，但存的时候还是相当于两条数据，有两个不同的标识，只是里面的数据一样。luence估计也不能指定某个字段重复就不能存的功能，相当于主键那样。 只能自己写程序判断
  • Lucene的Highlighter如何才能将不分词直接索引的字段加高亮？ lucene
    2010-11-28 17:34
    回答 5 已采纳 [quote] 不知道这算不算停用词了，比如说我输入标题（歌曲名）是“泳儿 - 小蛮腰”，最后分词得到的结果只有“泳”“蛮腰”，而“儿”“小”却没有分出来。所以最后高亮的结果是泳儿 - 小蛮腰。但我
  • 如何不用建立lucene索引的问题？ lucene
    2011-08-12 19:49
    回答 4 已采纳 [quote] 我的意思是，第一次建立了索引以后，下一次我访问的时候，如何不用再建立所以，直接去查询。 因为发现每次调用都必须new indexwrite。时间都花费在这个地方建立索引。索引建立完
  • lucene实时 增量索引_Solr搜索引擎 — 通过mysql配置数据源
    2020-11-23 02:45
    weixin_39861823的博客 上一节我们已经通过两种方式运行了solr，本节演示怎么配置solr的mysql数据源附上:喵了个咪的博客：http://w-blog.cnSolr官网：http://lucene.apache.org/solr/PS：8.0.0版本已经发布，本文使用此时较为稳定的7.7.1...
  • solr增量导入更新索引包
    2018-12-05 19:54
    增量导入更新索引包是Solr中的一项重要功能，它允许系统仅处理自上次完整索引以来发生改变的数据，从而大大提升了效率并降低了资源消耗。下面将详细阐述Solr增量更新的相关知识点。 1. **Solr的索引机制** Solr...
  • Lucene增量索引的奥秘
    2024-08-07 00:55
    AI天才研究院的博客 如何进一步缩短新文档可被检索的延迟,同时保证系统的稳定性和查询性能,是增量索引技术未来的一大挑战。在Lucene中实现自定义分词器需要继承Tokenizer类，并实现其方法。继承Tokenizer类：创建一个新的类继承...
  • lucene分词搜索,增量索引及全量索引
    2012-03-13 09:44
    《Lucene分词搜索、增量索引与全量索引详解》 在现代信息检索系统中，搜索引擎扮演着至关重要的角色。Apache Lucene是一个高性能、全文本搜索库，被广泛应用于构建复杂的数据检索应用。本文将深入探讨Lucene的分词...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 srs-sip外部服务 webrtc支持H265格式
  • ¥15 在使用abaqus软件中，继承到assembly里的surfaces怎么使用python批量调动
  • ¥15 大一C语言期末考试，求帮助🙏🙏
  • ¥15 ch340驱动未分配COM
  • ¥15 Converting circular structure to JSON
  • ¥30 Hyper-v虚拟机相关问题，求解答。
  • ¥15 TSM320F2808PZA芯片 Bootloader
  • ¥45 谷歌浏览器出现开发者工具无法显示已创建的，但您可以调试已部署的代码。 状态代码 404， net::ERR HTTP RESPONSE CODE FAILURE
  • ¥15 如何解决蓝牙通话音频突发失真问题
  • ¥15 安装opengauss数据库报错