shu_8708 2017-08-17 02:44 采纳率: 0%
浏览 2284
已结题

Python scrapy爬取网页解码问题

尝试爬取淘宝网页，在parse中解析response希望获得解码后的文本
使用response.text 会在log中记录有报错：有无法解码的信息
使用response.body.decode('utf-8','ignore')也会出现同样的问题
使用response.xpath('xxxxxx').extract()可以获取相关信息
但是希望使用正则表达式进行检索，希望大神帮助，如何能过跳过那些不规则的编码获取网页文本

  • 写回答

2条回答 默认 最新

  • OwnsDream 2017-08-17 03:42
    关注

    要获取一下网站的编码格式，不一定都是utf8的，获取后根据编码解析获取的内容

    评论

报告相同问题？

悬赏问题

  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 对于相关问题的求解与代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
  • ¥15 保护模式-系统加载-段寄存器
  • ¥15 电脑桌面设定一个区域禁止鼠标操作
  • ¥15 求NPF226060磁芯的详细资料
  • ¥15 使用R语言marginaleffects包进行边际效应图绘制