晴未决 2020-07-24 20:17 采纳率: 0%
浏览 530

python爬取图片问题:已知图片的url地址,使用request模块下载图片需要20多秒,为什么比用浏览器手动下载慢那么多?

图片说明
就是这段很简单的代码,请求标头用的是浏览器F12截取的标头格式
但是下载速度很不稳定,老是50多秒一张图片 或者20多秒
(每张图片之间我会设置两秒的请求间隔)
##我用浏览器浏览这些网页很流畅,但是爬虫去爬下载速度很感人,我很费解,想请问这是为什么。
抱拳,希望有大大告诉我,万分感谢
###(补充疑问:我换urllib模块的urlopen时,老是会HTTPerror 503,换requests模块就不会,也是搞不懂)

  • 写回答

1条回答 默认 最新

  • threenewbee 2020-07-25 07:30
    关注

    浏览器在载入的时候有缓存,当你下载的时候,实际上不需要重新请求网站,直接从缓存复制。
    你可以试试看多线程同时下载,当你下载很多图片的时候,可以节约时间。

    评论

报告相同问题?

悬赏问题

  • ¥15 安卓adb backup备份应用数据失败
  • ¥15 eclipse运行项目时遇到的问题
  • ¥15 关于#c##的问题:最近需要用CAT工具Trados进行一些开发
  • ¥15 南大pa1 小游戏没有界面,并且报了如下错误,尝试过换显卡驱动,但是好像不行
  • ¥15 没有证书,nginx怎么反向代理到只能接受https的公网网站
  • ¥50 成都蓉城足球俱乐部小程序抢票
  • ¥15 yolov7训练自己的数据集
  • ¥15 esp8266与51单片机连接问题(标签-单片机|关键词-串口)(相关搜索:51单片机|单片机|测试代码)
  • ¥15 电力市场出清matlab yalmip kkt 双层优化问题
  • ¥30 ros小车路径规划实现不了,如何解决?(操作系统-ubuntu)