拉钩网爬取,到第七页要登陆,可以设置等待时间,但花费时间长,求大佬解答,
import requests
from bs4 import BeautifulSoup
result=[]
a=0
for i in range(1,31):
a+=1
myHeaders={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134'} #添加请求头
if i==1:
ur="https://www.lagou.com/zhaopin/xiaoyouxikaifa/?labelWords=label"
if i==2:
ur="https://www.lagou.com/zhaopin/xiaoyouxikaifa/2/?filterOption=2" #获取爬取的网页,十页的网页格式不一样
if i>=3:
ur='https://www.lagou.com/zhaopin/xiaoyouxikaifa/'+str(i)+'/?filterOption=3'
r=requests.post(ur,headers=myHeaders)
r.encoding='utf-8'
soup=BeautifulSoup(r.text,"lxml")
print(soup)
if a==7:
break
这是请求网页的代码,能不能帮忙看一下,要反爬,能不能提一个大概的思路,主要是爬得多,如果6页等每半分钟中的话,要十几天,谢谢了