刚入门nlp，最近需要设计一个文本分句工具，本来以为很简单，但是想了一下需要考虑的问题很多，因为英文的句号容易和小数点，人名地名缩写，省略号等等混淆。尤其在句号前后没有空格的情况下，感觉很难准确判定英文句号处是否需要进行断句。我现在的思路就是列举所有可能的情况（小数点，缩写），对每一个句号的上下文进行检查，用正则表达式判断是否为句号，再进行分句。但是这样做有两个问题：一是可能发生歧义的情况很难列举wan，二是类似于“my age is 13.13 is my age." 这种句子单纯依靠规则很难识别。我之前使用的是nltk的sent__tokenize方法，但是这个工具没有办法处理句号前后无空格的情况。所以想问一下大佬们一般在对文本分句的时候是怎么做的？
2条回答 默认 最新
- 2022-08-05 18:10回答 4 已采纳 提供一个思路哈。你缩写，.号两边都是只有一个字母，而句子.号两边都是一串字母。那你就可以依次用正则来进行拆分，re.split(r'(.{2,}?).','asc.sas.assa.a.a')
- 2022-03-27 20:26回答 1 已采纳 这样试试， 我代码里写了注释 import sys from imp import reload import os try: reload(sys) sys.setdefaulte
- 2022-03-29 11:39回答 2 已采纳 data=data.astype(str) 改成 data.astype(str)
- 2024-03-02 20:24中英文语料数据清洗及分布式分句分词预处理工作 代码包括： 如何批量读取文件夹及子文件夹下的数据 如何将批量整合文件夹及子文件下的数据 匹配中英文里可能出现的所有特殊字符 匹配各类网址及网页标签 匹配希腊...
- 2022-03-27 18:05回答 2 已采纳 大概调整了一下，加了个读目录文件的方法。试试， 看行不行 import sys from imp import reload import os try: reload(sys) s
- 2021-09-24 10:36回答 1 已采纳 你这个逻辑问题，好好梳理一下
- 2009-10-17 14:44回答 3 已采纳 [code="java"] /*需要分割的文章*/ String str = "第一句。第二句！第三句：第四句；第五句。"; /*正则表达式：句子结束符*/ Strin
- 2022-07-06 16:50汀、人工智能的博客 中文分句re.split()，jieba分词和词频统计FreqDist_zhuzuwei的博客-CSDN博客_jieba 分句NLTK使用笔记，NLTK是常用的Python自然语言处理库然而当我处理小说文本时，发现了这种思路的漏洞：所以，这里我提供一个更加...
- 2023-02-12 21:56BIG-HO的博客 在 Python 中，您可以使用许多库来实现在线评论的情感分析，例如： NLTK：这是一个强大的自然语言处理库，提供了各种工具和技术来处理文本数据。 TextBlob：这是一个简单易用的库，用于语言处理和文本分析。 ...
- 2023-02-14 11:37无声远望的博客 首先，您需要选择一个文本分析库，如NLTK或Janome，来帮助您处理日语文本。接下来，您可以使用这些库中的功能，如词频统计，词性标注等，来分析日语文本。 关于可视化，您可以使用matplotlib库来绘制图形，如词频...
- 2022-04-15 12:00风度78的博客 自然语言处理分析的最基本和初始步骤是关键词提取，在NLP中，我们有许多算法可以帮助我们提取文本数据的关键字。本文中，云朵君将和大家一起学习四种即简单又有效的方法，它们分别是Rake、Yake、Keybert 和 Textrank...
- 2024-02-02 16:45HaiLang_IT的博客 毕业设计：基于深度学习的...对于计算机专业、软件工程专业、人工智能专业、大数据专业的毕业生而言，无论您对深度学习技术保持浓厚兴趣，还是希望探索机器学习、算法或人工智能的领域的同学，能为您提供灵感和指导。
- 2022-11-07 17:33医学小达人的博客 Python 文本语义识别，文本转化为图数据库，文本摘要图展示，文本结构化为图谱，文本数据图谱化
- 2022-05-07 10:59北村南的博客 NLP自然语言处理之NLTK工具的使用，进行英文情感分析、分词、分句、词性标注（附代码）
- 2021-06-22 15:59Hello AI！的博客 先针对训练文本进行分词处理(词干提取, 原型提取), 统计词频, 通过词频-逆文档频率算法获得该词对整个样本语义的贡献, 根据每个词对语义的贡献力度, 构建有监督分类学习模型. 把测试样本交给模型处理, 得到测试样本...
- 2020-11-24 20:03weixin_39996908的博客 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。自然语言工具箱（NLTK，NaturalLanguageToolkit）是一个基于Python语言的类库，它也是当前最为流行的自然语言编程与开发工具。在进行自然语言处理研究...
- 2023-02-22 23:06小詹学 Python的博客 自然语言处理分析的最基本和初始步骤是关键词提取，在NLP中，我们有许多算法可以帮助我们提取文本数据的关键字。本文中，云朵君将和大家一起学习四种即简单又有效的方法，它们分别是Rake、Yake、Keybert 和 Textrank...
- 2023-08-10 16:20诸神缄默不语的博客 中文分句的解决方案
- 2022-03-15 11:43数据攻城小狮子的博客 自然语言处理(NLP)是研究能实现人与计算机之间用自然语言进行有效通信的各种理论和方法，也是人工智能领域中一个最重要、最艰难的方向。说其重要，因为它的理论与实践与探索人类自身的思维、认知、意识等精神机制...
- 2020-11-29 07:18weixin_39736913的博客 自然语言处理是计算机科学领域与人工智能领域中的一个重要方向。自然语言工具箱（NLTK，NaturalLanguageToolkit）是一个基于Python语言的类库，它也是当前最为流行的自然语言编程与开发工具。在进行自然语言处理研究...
- 没有解决我的问题, 去提问
悬赏问题
- ¥17 pro*C预编译“闪回查询”报错SCN不能识别
- ¥15 微信会员卡接入微信支付商户号收款
- ¥15 如何获取烟草零售终端数据
- ¥15 数学建模招标中位数问题
- ¥15 phython路径名过长报错 不知道什么问题
- ¥15 深度学习中模型转换该怎么实现
- ¥15 Stata外部命令安装问题求帮助！
- ¥15 从键盘随机输入A-H中的一串字符串，用七段数码管方法进行绘制。提交代码及运行截图。
- ¥15 TYPCE母转母，插入认方向
- ¥15 如何用python向钉钉机器人发送可以放大的图片？