Greper 2011-11-14 10:35
浏览 208
已采纳

有没有一种分词器 ，可以配置split形式分词

现在我用的IK分词器，现在有一个字段存储是这样的 我爱java|lucene学习|CC|DD
如果直接分词，则会分成 我爱 java lucene 学习 CC DD
而我想单独这个字段只使用split形式的分词， 以 | 符号分词，分成 我爱java 一个词， lucene学习一个词
有没有这样的形式的

  • 写回答

4条回答 默认 最新

  • lzj0470 2011-11-15 09:37
    关注

    我已经按照你想要的切词方式，写了一个，你可以到这里下载。
    http://lzj0470.iteye.com/blog/1259070

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题？

  • split 分词器
    2011-12-14 11:10
    `split`分词器是一种简单但非常实用的工具，尤其适用于那些语言结构相对简单的场景，或者在已知分隔符的情况下。在这个话题中，我们将深入探讨`split`分词器的工作原理、使用场景以及如何在实际应用中配置和使用它。...
  • 训练自己的HF分词器
    2024-08-28 09:09
    新缸中之脑的博客 这篇博文是系列文章的第一部分，我们想使用transformer模型创建产品名称生成器。...最后，为了深化 Huggingface 转换器的使用，我决定用一种稍微复杂一点的方法解决这个问题，即编码器-解码器模型。
  • 【Elasticsearch】分词机制详解（含实战案例）
    2025-06-13 23:43
    大数据与AI实验室的博客 文章列举了内置分词器、中文分词器和自定义分词器分类，并通过一个跨境电商商品搜索案例，展示了如何设计包含多语言支持、型号处理、同义词扩展等功能的定制分词器。该案例实现特殊符号过滤、产品型号保留等技术要点...
  • VicWord:一个纯php分词
    2021-05-31 10:01
    VicWord 一个纯php的分词 QQ交流群: 731475644 安装 composer require lizhichao/word 分词说明 含有3种切分方法 getWord 长度优先切分 。最快 getShortWord 细粒度切分。比最快慢一点点 ...三种分词结果
  • asp 的中文分词
    2020-10-30 13:26
    ASP（Active Server Pages）是一种微软开发的服务器端脚本环境，用于创建动态交互式网页。在ASP中，处理中文分词是一项重要的任务，特别是在处理中文文本数据时，准确的分词能够帮助提升文本分析和处理的准确性。...
  • 3、Elasticsearch分词器简介与使用（二）
    2022-06-24 23:30
    谁是谁的小确幸的博客 ES 已经提供了丰富多样的开箱即用的分词 plugin，通过这些 plugin 可以创建自己的 token Analyzer，甚至可以利用已经有的 Char Filter，Tokenizer 及 Token Filter 来重新组合成一个新的 Analyzer，并对文档中的每个...
  • Elasticsearch中文分词器IK分词器深入解析
    2025-07-06 07:35
    觉昧的博客 分词器（Tokenizer）是一种用于将连续的文本序列分解为可管理的单元（如单词、短语或符号）的工具。它在自然语言处理（NLP）和搜索技术中起着至关重要的作用。一个有效的分词器能够准确地将文本切分成有意义的词汇...
  • Python常用的5种中文分词工具
    2025-08-11 17:24
    AI手记叨叨的博客 本文介绍了五种常用的中文自然语言处理工具：jieba、jiagu、snownlp、thulac和LAC，重点讲解了它们的分词功能及其他核心特性，并提供了相关示例代码。
  • ES6.8.6 分词器安装&使用、查询分词结果（内置分词器、icu、ik、pinyin分词器）
    2024-01-24 15:33
    小白说(๑• . •๑)的博客 安装分词器插件后，在创建索引时没有配置自定义分词器名称时，请求需要使用插件中默认的分词器名称。（本文没有涉及到自定义分词器名称的配置）输入词的分词规则和被查询字段的的分词规则一致。否则查不出结果。了解...
  • elasticsearch安装和使用ik分词器
    2019-01-20 15:13
    程序员欣宸的博客 本文一起来安装ik分词器，达到中文分词的效果
  • 没有解决我的问题, 去提问