什么是预处理语言模型?什么是预处理语言模型?
1条回答 默认 最新
- CSDN专家-黄老师 2021-09-22 12:23关注
预处理语言模型是文本处理,其目的是,从原始html形式的文本中提取有效数据,并处理成构造语言模型(Language Model)所需要的格式。
步骤如下:
预处理。[包括全半角字符转化,去掉注释、CSS样式、标签(单/多行)、&转义字符、url、大段英文数字、单个非中文词、空格等等]
分词。[可自己开发分词工具,或采用第三方工具,如结巴分词]
纯数字转成中文读音
将中文表示的数字进行拆分,如:一百二十三元 –> 一百 二十 三 元
去掉无用字符,保留中英文字符及部分标点,并按标点分句[可根据需要去掉所有标点]本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 1无用
悬赏问题
- ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么
- ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
- ¥16 mybatis的代理对象无法通过@Autowired装填
- ¥15 可见光定位matlab仿真
- ¥15 arduino 四自由度机械臂
- ¥15 wordpress 产品图片 GIF 没法显示
- ¥15 求三国群英传pl国战时间的修改方法
- ¥15 matlab代码代写,需写出详细代码,代价私
- ¥15 ROS系统搭建请教(跨境电商用途)
- ¥15 AIC3204的示例代码有吗,想用AIC3204测量血氧,找不到相关的代码。