尝试爬取淘宝网页，在parse中解析response希望获得解码后的文本
使用response.text 会在log中记录有报错：有无法解码的信息
使用response.body.decode('utf-8','ignore')也会出现同样的问题
使用response.xpath('xxxxxx').extract()可以获取相关信息
但是希望使用正则表达式进行检索，希望大神帮助，如何能过跳过那些不规则的编码获取网页文本
Python scrapy爬取网页解码问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
- 2018-02-09 09:34回答 3 已采纳 1. 把整个爬取到的网页内容直接存储到数据库肯定是可以的，你之所以没有成功，应该是因为你的数据库中的相应字段错了，整个网页内容都比较长，一般都是要用text字段，甚至是LongText)（最大长度42
- 2021-05-23 20:32回答 2 已采纳 你已经爬到图片连接了，这个看到的管道文件的代码怎样写，要对图片链接发送请求访问，然后保存才行
- 2021-08-03 18:51回答 2 已采纳 找到原因了，是要在setting中加上MEDIA_ALLOW_REDIRECTS = True，貌似是中间件的内容，我还没学到，所以不清楚什么意思，有大佬可以解释一下吗看所有日志后会发现其实有地方报错
- 2023-03-02 17:32EaSoNgo111的博客 打开 mySpider 目录下的 items.py，创建一个 ItcastItem 类，和构建 item 模型（model）BUG：引用mySpider/items.py 定义的 ItcastItem 类出现问题。打开mySpider/spider目录里的 itcast.py。
- 2021-12-20 01:08回答 1 已采纳 http: 去那里啦?
- 2022-02-17 10:28回答 3 已采纳 js加载的，先打印看下获取的整个网页。我试了下，在下图这个位置可以找到视频链接，可以用正则或者别的方法取出来
- 2021-06-13 23:12回答 2 已采纳 这个是百度反爬虫导致的，
- 2019-10-08 09:39dlnj93539的博客 最近两天在学scrapy,发现爬取编码为gb2312的网页时出现错误，解决后又出现中文乱码问题，弄了两天终于解决了 1.（测utf-8/gb2312可以成功调码解码） 1. import chardet print(chardet.detect(title)) py3用库...
- 2021-12-04 01:41回答 1 已采纳 img_url = div.xpath('./div/a/img/src').extract_first() src前面少了 @ 改成 img_url = div.xpath('./
- 2023-04-02 16:26回答 2 已采纳 好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
- 2021-05-26 16:56回答 2 已采纳 你的数据清洗方法用错了，参考一下：https://blog.csdn.net/qq_43004728/article/details/84586628，如有帮助，望采纳
- 2023-01-10 17:18biaobro的博客 爬虫与反爬虫 - 2023最新爬取某天气网站历史数据 - JS逆向 - Python实现
- 2022-10-19 14:43回答 1 已采纳
- 2019-05-10 18:40sunzhihao_future的博客 Python爬虫-Scrapy框架（项目实战）- 爬取动态响应页面
- 2021-06-19 01:45zljchris的博客 scrapy爬取整个网页时如何避免链接失效最近在使用scrapy爬取网页时遇到很多图片不能正常显示、a标签链接失效的情况，多是因为爬下来的网页和图片路径已经失去了原有的结构，网页无法根据标签的src或者标签的href找到...
- 没有解决我的问题, 去提问
