我有多篇关于汽车类的文章,文章中多次提到"本田雅阁"关键词,再语料库中没有该词语的情况下分词,会被切分成"本田" / "雅阁",怎么在不使用人工添加情况下,把"本田雅阁"提取出来,存入语料库,为以后的分词提供有效语料库关键词呢?
1条回答 默认 最新
threenewbee 2019-05-13 09:11关注实用的方法是使用分词库，它结合了人工添加和修正的词汇。
单单从语言的角度看，可以用后缀数组的方式得到某个字符的前后字的字频，字频高的，就视作词汇。但是这个本身需要大量的语料和人工的调整。本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2022-12-07 10:42回答 3 已采纳 写了一个模板函数，望采纳 下面为示例代码，需要你提供已经分词的语料库和对应的词性标注。 # 首先，我们需要定义一个函数，它接受一个分词后的语料库和一个词性格式作为参数，并返回满足该格式的所有词组。 d
- 2018-11-09 03:50回答 1 已采纳 什么意思，就是给定一些汉字，然后排列组合，看能构成哪些词语？ 如果是，可以帮你写一个，思路是在你所有的汉字里，m选n（包括重复自己）组成2、3、4字，然后和字典比较，匹配的输出。 字典你可以去下载
- 2022-08-13 11:19回答 3 已采纳 用法不是在你截图里有吗？中间那张图，你看下，写的很清楚，可以在cmd里执行
- 2021-03-24 13:42weixin_39586683的博客 原标题：简单有效的多标准中文分词本文介绍一种简洁优雅的多标准中文分词方案，可联合多个不同标准的语料库训练单个模型，同时输出多标准的分词结果。通过不同语料库之间的迁移学习提升模型的性能，在10个语料库上的...
- 2021-04-14 11:01回答 4 已采纳 import re with open("输出文件.txt","w",encoding="utf-8") as outfile: with open("train.txt","r",enco
- 2021-06-26 12:06回答 5 已采纳 没有那样的文件。。检查运行环境中是否存在那样的文件
- 2015-04-15 13:53回答 3 已采纳 既然你要语料库，程序就不是必须的了，用ultraedit之类的工具，内置批量替换功能，运行下即可。
- 2022-03-10 15:15- **人工智能**：AI开发人员可以借助语料库训练机器学习模型，实现智能对话系统、文本生成、知识图谱构建等任务。 - **语料库研究**：语言学家和数据科学家可以分析词汇的使用频率、句法结构、语篇模式等，以了解...
- 2022-08-08 20:43回答 1 已采纳 只要你的样本都是这个行业的，进行训练，肯定是能保持行业相关性的，主要成本就是收集语料，现在开源的gpt或者bert的预训练非常多，建议楼主多从网上收集一些文章，要训的好，大概上千到上万的样本是比较合适
- 2020-04-08 14:54回答 2 已采纳 ``` str1='卷之一治诸风透冰丹内容：治一切风毒……卷之一治诸风龙脑天麻煎内容：治……' import re txt1=re.findall('(.*?)(.*?)内容',str1)
- 2015-05-31 12:27回答 1 已采纳 ICTCLAS分词系统可以高效地实现分词。下面把过程贴出来。 使用方法，首先到网上下载ICTCLAS，因为我是windows下的C++实现，所以在http://ictclas.org/ictcla
- 2022-03-10 15:33标题中的“英文维基百科语料库txt（9）”指的是一个包含多个英文维基百科文本数据的压缩包，这些数据经过一系列预处理步骤，包括分词、去停用词、转换为小写、词干提取和词形还原，使得它们更适合用于自然语言处理...
- 2019-04-20 07:16现代汉语语料库是语言学研究中的重要资源，主要用于深入理解和分析现代汉语的语言现象。它是由3500个常用汉字构成的大量文本数据集合，经过精心清洗和去重处理，确保了数据的质量和准确性。这个语料库包含了554,026...
- 2024-03-02 21:59在IT行业中，尤其是在人工智能（AI）领域，数据预处理是一项至关重要的步骤，它对模型的训练效果有着显著影响。这个项目“使用唐诗语料库，经过去噪预处理、分词、生成搭配、生成主题等过程，生成唐诗.zip”就是这样...
- 2024-03-22 16:07中文分词是NLP中的预处理步骤，因为中文没有明显的空格来区分单词，所以需要通过算法将连续的汉字序列分割成有意义的词语。哈工大的PLT提供了分词模块，它基于统计模型，如隐马尔可夫模型（HMM）或条件随机场（CRF）...
- 没有解决我的问题, 去提问
问题事件
请采纳用户回复
6月30日
悬赏问题
- ¥60 优博讯DT50高通安卓11系统刷完机自动进去fastboot模式
- ¥15 minist数字识别
- ¥15 在安装gym库的pygame时遇到问题，不知道如何解决
- ¥20 uniapp中的webview 使用的是本地的vue页面，在模拟器上显示无法打开
- ¥15 网上下载的3DMAX模型，不显示贴图怎么办
- ¥15 关于#stm32#的问题：寻找一块开发版，作为智能化割草机的控制模块和树莓派主板相连，要求：最低可控制 3 个电机（两个驱动电机，1 个割草电机），其次可以与树莓派主板相连电机照片如下：
- ¥15 Mac(标签-IDE|关键词-File) idea
- ¥15 潜在扩散模型的Unet特征提取
- ¥15 iscsi服务无法访问，如何解决？
- ¥15 感应式传感器制作的感应式讯响器