千江叶落 2019-05-12 22:30 采纳率: 50%
浏览 433
已采纳

中文分词的语料库中的词是如何的生成的?

我有多篇关于汽车类的文章,文章中多次提到"本田雅阁"关键词,再语料库中没有该词语的情况下分词,会被切分成"本田" / "雅阁",怎么在不使用人工添加情况下,把"本田雅阁"提取出来,存入语料库,为以后的分词提供有效语料库关键词呢?

  • 写回答

1条回答 默认 最新

  • threenewbee 2019-05-13 09:11
    关注

    实用的方法是使用分词库,它结合了人工添加和修正的词汇。
    单单从语言的角度看,可以用后缀数组的方式得到某个字符的前后字的字频,字频高的,就视作词汇。但是这个本身需要大量的语料和人工的调整。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 请采纳用户回复 6月30日

悬赏问题

  • ¥15 vs2019中数据导出问题
  • ¥20 云服务Linux系统TCP-MSS值修改?
  • ¥20 关于#单片机#的问题:项目:使用模拟iic与ov2640通讯环境:F407问题:读取的ID号总是0xff,自己调了调发现在读从机数据时,SDA线上并未有信号变化(语言-c语言)
  • ¥20 怎么在stm32门禁成品上增加查询记录功能
  • ¥15 Source insight编写代码后使用CCS5.2版本import之后,代码跳到注释行里面
  • ¥50 NT4.0系统 STOP:0X0000007B
  • ¥15 想问一下stata17中这段代码哪里有问题呀
  • ¥15 flink cdc无法实时同步mysql数据
  • ¥100 有人会搭建GPT-J-6B框架吗?有偿
  • ¥15 求差集那个函数有问题,有无佬可以解决