用一段新闻作分词,先用正则表达式去除标点符号re.sub(r,'',pos_news[0]),其中pos_news[0]是一段新闻。
print 之后是去除标点的一段新闻。
print " ".join(jieba.cut(re.sub(r,'',pos_news[0])))打出来乱码:
涵 閬 涓 婁簡 杩 欎 唤 鐙 壒 鐨 勭 ょ 墿 濞 绀 句 氬 悇 鐣 鍟 璧 蜂 簡 搴 鐑 堢 殑 鍙
但是如果直接print " ".join(jieba.cut(pos_news[0])) 是正常的分词后的新闻
“ 我 经常 和 孩子 们 说 , 要 记住 每 一个 帮助 过 我们 的 人 , 日后 有 能力 了 要 记得 报答 人家 ! ” 走访 结束 后 , 赵继 ( 化名 ) 母亲 的话 依然 在 e 租宝 志愿者 的 耳畔 回绕 。
不知道为什么我去除标点后分词就是乱码。。。NLP小白求指教!