千江叶落 2019-05-12 22:30 采纳率: 50%
浏览 433
已采纳

中文分词的语料库中的词是如何的生成的?

我有多篇关于汽车类的文章,文章中多次提到"本田雅阁"关键词,再语料库中没有该词语的情况下分词,会被切分成"本田" / "雅阁",怎么在不使用人工添加情况下,把"本田雅阁"提取出来,存入语料库,为以后的分词提供有效语料库关键词呢?

  • 写回答

1条回答 默认 最新

  • threenewbee 2019-05-13 09:11
    关注

    实用的方法是使用分词库,它结合了人工添加和修正的词汇。
    单单从语言的角度看,可以用后缀数组的方式得到某个字符的前后字的字频,字频高的,就视作词汇。但是这个本身需要大量的语料和人工的调整。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 请采纳用户回复 6月30日

悬赏问题

  • ¥20 怎么在stm32门禁成品上增加记录功能
  • ¥15 Source insight编写代码后使用CCS5.2版本import之后,代码跳到注释行里面
  • ¥50 NT4.0系统 STOP:0X0000007B
  • ¥15 想问一下stata17中这段代码哪里有问题呀
  • ¥15 flink cdc无法实时同步mysql数据
  • ¥100 有人会搭建GPT-J-6B框架吗?有偿
  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 解riccati方程组