m0_59005572 2021-09-22 12:02 采纳率: 100%
浏览 28
已结题

数据挖掘 预处理语言模型

什么是预处理语言模型？什么是预处理语言模型？

  • 写回答

1条回答 默认 最新

  • CSDN专家-黄老师 2021-09-22 12:23
    关注

    预处理语言模型是文本处理，其目的是，从原始html形式的文本中提取有效数据，并处理成构造语言模型(Language Model)所需要的格式。　
    步骤如下：
    预处理。[包括全半角字符转化，去掉注释、CSS样式、标签（单/多行）、&转义字符、url、大段英文数字、单个非中文词、空格等等]
    分词。[可自己开发分词工具，或采用第三方工具，如结巴分词]
    纯数字转成中文读音
    将中文表示的数字进行拆分，如：一百二十三元 –> 一百 二十 三 元
    去掉无用字符，保留中英文字符及部分标点，并按标点分句[可根据需要去掉所有标点]

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 系统已结题 10月1日
  • 已采纳回答 9月23日
  • 创建了问题 9月22日

悬赏问题

  • ¥15 metadata提取的PDF元数据，如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错
  • ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误，如何解决？
  • ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
  • ¥15 c#逐行读取txt文本，但是每一行里面数据之间空格数量不同
  • ¥50 如何openEuler 22.03上安装配置drbd
  • ¥20 ING91680C BLE5.3 芯片怎么实现串口收发数据
  • ¥15 无线连接树莓派，无法执行update，如何解决？（相关搜索：软件下载）
  • ¥15 Windows11, backspace, enter, space键失灵