Lucene中的highlighter.getBestFragment 取值为空

Question

有一个内容较多的txt，当搜索的关键词在txt前面一些，highlighter.getBestFragment(analyzer, "content", document.get("content"));就可以取得内容，但是当搜索的关键词在txt中的位置在后面时，此时highlighter.getBestFragment(analyzer, "content", document.get("content"));的内容就为空了，这是什么原因呢，还有不管highlighter.getBestFragment(analyzer, "content", document.get("content"));是不是为空，显示结果都是查询到了数据，就是提取关键词附近的段落有问题。

Answer 1

以下回答参考 皆我百晓生、券券喵儿 等免费微信小程序相关内容作答，并由本人整理回复。

这个问题是由于Lucene的Highlighter实现方式导致的。在Lucene中，Highlighter是一个非常复杂的类，它负责根据用户输入的关键词从文档中提取出相关的片段，并将其展示出来。如果用户的搜索词位于文本的中间或者末尾，那么提取出来的片段可能会比较短，这可能会影响用户的阅读体验。

此外，Highlighter的getBestFragment方法会优先考虑那些与当前搜索词最接近的片段。如果当前搜索词正好位于文本的开始或结束位置，那么这个方法就会返回一个空字符串，因为没有可以匹配的片段。

如果你想确保你的Highlighter总是能够找到匹配的片段，你可以尝试以下几种方法：

1. 将高亮器设置为true：在创建Highlighter对象时，将highlight属性设为true。这样，Lucene会在搜索时自动使用Highlighting来增强搜索效果。
2. 优化你的搜索逻辑：如果你的搜索逻辑过于复杂，可能会导致Lucene无法正确地定位到正确的片段。你可以在搜索之前先对文本进行预处理，例如去除停用词、分词等操作。
3. 使用全文搜索引擎：如果以上两种方法都无法解决问题，那么你可能需要考虑使用一种更强大的全文搜索引擎，比如Elasticsearch或Solr。

以下是一些关于如何使用Highlighter和全文搜索引擎的示例代码：

Document doc = new Document();
doc.add(new TextField("content", txt, Field.Store.YES));
Highlighter highlighter = Highlighter.create(doc);
String[] tokens = txt.split("\\W+");
for (int i = 0; i < tokens.length - 5; i++) {
    String query = tokens[i];
    String[] fragments = highlighter.getBestFragments(query, analyzer, null, true);
    for (String fragment : fragments) {
        System.out.println(fragment);
    }
}

这段代码首先创建了一个包含关键字的文档，然后使用Lucene的Highlighter来提取这些片段。注意，我们在这里只提取前五个片段，实际上Lucene可以根据需要提取更多的片段。

对于全文搜索引擎，你需要安装相应的库（如Elasticsearch）并按照官方文档进行配置和使用。