qq_charm 2018-05-09 07:26 采纳率: 33.3%
浏览 665
已采纳

java lucene的搜索和翻页效率?

lucene上千万的数据翻页怎么这么慢啊,基本上要5s-6s。前面的页数还比较快,越到后面的页数翻页越慢。
贴上代码:
方式一:

 public static void searchPage(int pageIndex,int pageSize) throws IOException, ParseException{
        Date start=new Date();
        Directory dir=FSDirectory.open(Paths.get("D:\\FCJS\\FCJS_bigdata_lucene5.3.0"));
        IndexReader reader = DirectoryReader.open(dir);
        IndexSearcher searcher=new IndexSearcher(reader);
        Analyzer analyzer=new IKAnalyzer(false);//false细粒度分词,true智能分词
        QueryParser parser=new QueryParser("all", analyzer);
        Query query=parser.parse("all");
        TopDocs tds = searcher.search(query,Integer.MAX_VALUE);
        ScoreDoc[] sds = tds.scoreDocs;
        int page_start = (pageIndex-1)*pageSize;  
        int page_end = pageIndex*pageSize;
        for(int i=page_start;i<page_end;i++) {  
            Document doc = searcher.doc(sds[i].doc);  
            System.out.println(sds[i].doc+":"+doc.get("ArticleID"));  
        }
        Date end=new Date();
        System.out.println("耗时:"+(end.getTime()-start.getTime())+"ms");
    }

方式二:

 private static void searchPageByAfter(int pageIndex,int pageSize) throws IOException, ParseException{
        Date start=new Date();
        Directory dir=FSDirectory.open(Paths.get("D:\\FCJS\\FCJS_bigdata"));
        IndexReader reader = DirectoryReader.open(dir);
        IndexSearcher searcher=new IndexSearcher(reader);
        Analyzer analyzer=new IKAnalyzer(false);//false细粒度分词,true智能分词
        QueryParser parser=new QueryParser("all", analyzer);
        Query query=parser.parse("all");
        //获取上一页的最后一个元素  
        ScoreDoc lastSd = getLastScoreDoc(pageIndex, pageSize, query, searcher); 
      //通过最后一个元素去搜索下一页的元素  
        TopDocs tds = searcher.searchAfter(lastSd,query, pageSize);
        for(ScoreDoc sd:tds.scoreDocs) {  
            Document doc = searcher.doc(sd.doc);  
            System.out.println(sd.doc+":"+doc.get("ArticleID"));  
        } 
        Date end=new Date();
        System.out.println("耗时:"+(end.getTime()-start.getTime())+"ms");
    }
  • 写回答

3条回答 默认 最新

  • speedyao 2018-05-10 08:35
    关注

    检索分页本来就很慢,你没觉得百度只有前几页的数据有效,后几页的数据基本就没用或者和前几页很一样

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

悬赏问题

  • ¥15 centos7中sudo命令无法使用
  • ¥15 灰狼算法和蚁群算法如何结合
  • ¥15 这是一个利用ESP32自带按键和LED控制的录像代码,编译过程出现问题,请解决并且指出错误,指导如何处理 ,协助完成代码并上传代码
  • ¥20 stm32f103,hal库 hal_usart_receive函数接收不到数据。
  • ¥20 求结果和代码,sas利用OPTEX程序和D-efficiency生成正交集
  • ¥50 adb连接不到手机是怎么回事?
  • ¥20 抓取数据时发生错误: get_mooncake_data() missing 1 required positional argument: 'driver'的问题,怎么改出正确的爬虫代码?
  • ¥15 vs2022无法联网
  • ¥15 TCP的客户端和服务器的互联
  • ¥15 VB.NET操作免驱摄像头