如何用python对英文文本进行分句？

Question

刚入门nlp，最近需要设计一个文本分句工具，本来以为很简单，但是想了一下需要考虑的问题很多，因为英文的句号容易和小数点，人名地名缩写，省略号等等混淆。尤其在句号前后没有空格的情况下，感觉很难准确判定英文句号处是否需要进行断句。我现在的思路就是列举所有可能的情况（小数点，缩写），对每一个句号的上下文进行检查，用正则表达式判断是否为句号，再进行分句。但是这样做有两个问题：一是可能发生歧义的情况很难列举wan，二是类似于“my age is 13.13 is my age." 这种句子单纯依靠规则很难识别。我之前使用的是nltk的sent__tokenize方法，但是这个工具没有办法处理句号前后无空格的情况。所以想问一下大佬们一般在对文本分句的时候是怎么做的？

Answer 1

给你一个思路,判断英文句号前后字符为数字还是英文,参照ASC码表