数据挖掘 预处理语言模型

Question

什么是预处理语言模型？什么是预处理语言模型？

Answer 1

预处理语言模型是文本处理，其目的是，从原始html形式的文本中提取有效数据，并处理成构造语言模型(Language Model)所需要的格式。　
步骤如下：
预处理。[包括全半角字符转化，去掉注释、CSS样式、标签（单/多行）、&转义字符、url、大段英文数字、单个非中文词、空格等等]
分词。[可自己开发分词工具，或采用第三方工具，如结巴分词]
纯数字转成中文读音
将中文表示的数字进行拆分，如：一百二十三元 –> 一百 二十 三 元
去掉无用字符，保留中英文字符及部分标点，并按标点分句[可根据需要去掉所有标点]