TJ Zhang 2019-03-28 14:02 采纳率: 66.7%
浏览 992

爬虫只能运行第一页,不能爬取后续页码

想爬取美女图片,网址:http://www.tu11.com/xingganmeinvxiezhen/list_1_1.html
编写了如下爬虫:

import requests
from bs4 import BeautifulSoup

def get_1_page(url):

    headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}

    response = requests.get(url,headers=headers).text
    return response

def parse_1_page(html):
    soup=BeautifulSoup(html,'lxml')
    for a in soup.find_all(class_='col-xs-1-5'):
        print(a.img['src'])

for i in range(1,10):
    url='http://www.tu11.com/xingganmeinvxiezhen/list_1_'+str(i)+'.html'
    html=get_1_page(url)
    parse_1_page(html)

但是只能爬取第一页,之后就报错误:图片说明

求大神看看

  • 写回答

1条回答 默认 最新

  • slongzhang_ 2020-11-16 10:17
    关注

    https

    评论

报告相同问题?

悬赏问题

  • ¥60 版本过低apk如何修改可以兼容新的安卓系统
  • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
  • ¥50 有数据,怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据,怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题
  • ¥15 C#算法问题, 不知道怎么处理这个数据的转换
  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题!
  • ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像,如何解决?