爬取一个网页的内容,该网页是gb2312的编码格式,浏览网页程序,其中的日文显示姑且算是正常的。
シン・エヴァンゲリオン劇場版:│▌这是网页程序显示的
(シン・エヴァンゲリオン乱码霭乱码:│乱码)这是我抓取的,抓取格式也是gb2312,保存为CSV文件格式是UTF-8,别的格式会报错('gb2312' codec can't encode character '\uFFFd' in position 18: illegal multibyte sequence),只能用这个格式。setting设置的格式也是gb2312,所以我保存下来的样子是这样的。
我都猜想是这样的,网页整体格式是gb2312,这几个日文会不会是别的编码格式。一整个页面都是统一格式,几个日文单独使用其他格式,是怎么实现的?
python抓取gb2312编码的网页日文乱码
- 写回答
- 好问题 0 提建议
- 关注问题
- 邀请回答
-
3条回答 默认 最新
CSDN专家-天际的海浪 2021-09-25 23:50关注这几个日文是在网页源代码中的吗??有日文是不应该用gb2312编码的。
还是说日文是用ajax加载的外部数据。这个外部数据不是gb2312编码。解决 无用评论 打赏 举报