英文分词器，一般英文的分词器都是以空格或特殊字符分词，并且会去掉非字母

Question

字符串分词器，一般英文的分词器都是以空格或特殊字符分词，并且会去掉非字母，有没有可以将整个字符串按字符一个一个分开，并且不去除特殊字符
如对"CN1000.09"进行分词，输入“C”"CN","CN100",都能搜到

Answer 1

以下回答参考 皆我百晓生、券券喵儿 等免费微信小程序相关内容作答，并由本人整理回复。

在Python中，我们可以使用re模块来实现这个功能。以下是一个简单的例子：

import re

def split_string(s):
    return re.findall(r'\w+', s)

s = "CN1000.09"
print(split_string(s))

在这个例子中，我们首先导入了re模块。然后定义了一个函数split_string，它接受一个字符串s作为参数。在函数内部，我们使用正则表达式\w+来匹配所有的单词。\w代表任何一种字母（大写或小写）、数字或下划线，+表示前面的部分出现一次或者多次。

然后我们用s调用我们的函数，并打印出结果。输出应该是['CN', '1000', '.', '09']，这正是我们需要的结果：每个单词都被分割开来，而且没有去除任何特殊字符。

如果你想要使用Solr这样的搜索引擎，那么你可能需要使用专门的库来处理自然语言处理任务。例如，在Apache Solr中，你可以使用Document类和TextField类来实现这个功能。不过，这通常需要更复杂的编程知识，包括理解索引和查询语法。