wch1989211 2016-04-07 09:49 采纳率: 0%
浏览 5246

python利用jieba分词出现乱码问题,求指教

用一段新闻作分词,先用正则表达式去除标点符号re.sub(r,'',pos_news[0]),其中pos_news[0]是一段新闻。
print 之后是去除标点的一段新闻。
print " ".join(jieba.cut(re.sub(r,'',pos_news[0])))打出来乱码:
涵 閬 涓 婁簡 杩 欎 唤 鐙 壒 鐨 勭 ょ 墿 濞 绀 句 氬 悇 鐣 鍟 璧 蜂 簡 搴 鐑 堢 殑 鍙

但是如果直接print " ".join(jieba.cut(pos_news[0])) 是正常的分词后的新闻
“ 我 经常 和 孩子 们 说 , 要 记住 每 一个 帮助 过 我们 的 人 , 日后 有 能力 了 要 记得 报答 人家 ! ” 走访 结束 后 , 赵继 ( 化名 ) 母亲 的话 依然 在 e 租宝 志愿者 的 耳畔 回绕 。

不知道为什么我去除标点后分词就是乱码。。。NLP小白求指教!

  • 写回答

2条回答 默认 最新

  • oyljerry 2016-04-07 11:09
    关注

    先要看看你的编码是什么,你需要对应的解码,decode等。

    评论

报告相同问题?

悬赏问题

  • ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 保护模式-系统加载-段寄存器
  • ¥15 电脑桌面设定一个区域禁止鼠标操作
  • ¥15 求NPF226060磁芯的详细资料