yangcq1126
yangcq1126
采纳率57.1%
2019-08-21 19:24 阅读 375

拉勾网爬取6页就要登陆,纯网页,非json格式,求解决

拉钩网爬取,到第七页要登陆,可以设置等待时间,但花费时间长,求大佬解答,

import requests
from bs4 import BeautifulSoup
result=[]
a=0
for i in range(1,31):
     a+=1
     myHeaders={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36 Edge/17.17134'} #添加请求头
     if i==1:
         ur="https://www.lagou.com/zhaopin/xiaoyouxikaifa/?labelWords=label"
     if i==2:
         ur="https://www.lagou.com/zhaopin/xiaoyouxikaifa/2/?filterOption=2"                                #获取爬取的网页,十页的网页格式不一样
     if i>=3:
         ur='https://www.lagou.com/zhaopin/xiaoyouxikaifa/'+str(i)+'/?filterOption=3'
     r=requests.post(ur,headers=myHeaders)
     r.encoding='utf-8'
     soup=BeautifulSoup(r.text,"lxml")
     print(soup)
     if a==7:
         break

这是请求网页的代码,能不能帮忙看一下,要反爬,能不能提一个大概的思路,主要是爬得多,如果6页等每半分钟中的话,要十几天,谢谢了

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 复制链接分享

1条回答 默认 最新

  • qq_40946921 Italink 2019-08-21 23:00

    能否把你的代码放到代码片中,如果是要解决登录问题,可以在headers中加入你的cookies
    另外我告诉你个好消息,我找到获取json数据的请求了
    请求名称:positionAjax.json?needAddtionalResult=false

    `

    点赞 评论 复制链接分享

相关推荐