u010705265
2021-06-17 22:05
采纳率: 100%
浏览 64

爬虫遇到js跳转反爬

爬一个网站时,发现如果从来没打开过的链接使用request.get得到的内容和浏览器打开的不一样,研究了下是因为做了js跳转反爬。但是为什么浏览器打开了一次之后就能正常get到需要的内容呢?

  • 写回答
  • 好问题 提建议
  • 关注问题
  • 收藏
  • 邀请回答

3条回答 默认 最新

  • qq_41870875 2021-06-23 13:15
    已采纳
    我并没有用过python,有用过php的curl,也有用过c语言的curl.
    推荐学习c语言的curl(并不用写c代码 ,只是通过c语言的curl 学习抓取网页所需用到的参数).
    相关文章可以参考下
    文章地址:https://www.cnblogs.com/meteoric_cry/p/3994893.html
    或者自行搜索CURLcode 定义 相关.
    
    你的问题解决方案是
      先通过浏览器获取到网址对应的 curl  
      在将这些参数添加到python-curl中(即模拟浏览器访问),
      每一个网站下多个地址可能某些参数是不一样的,
      但他们只要策略一样 就可以手动一次  全站使用.
    
    
    
    下面是 用谷歌浏览器获得的某网址的curl
    举例csdn为例  
    例如user-agent 即浏览器标识 ,
    curl功能有很多  也可以抓取ssl页面,
    也可以cookie 用户登录等等 , 
    一些服务器程序也是利用这些头部信息进行来源分析,这些都在CURLcode 定义中.
         
    curl "https://ask.csdn.net/questions/7452100?answer=53434076" ^
      -H "authority: ask.csdn.net" ^
      -H "cache-control: max-age=0" ^
      -H "sec-ch-ua: ^\^" Not;A Brand^\^";v=^\^"99^\^", ^\^"Google Chrome^\^";v=^\^"91^\^", ^\^"Chromium^\^";v=^\^"91^\^"" ^
      -H "sec-ch-ua-mobile: ?0" ^
      -H "upgrade-insecure-requests: 1" ^
      -H "user-agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.101 Safari/537.36" ^
      -H "accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9" ^
      -H "sec-fetch-site: none" ^
      -H "sec-fetch-mode: navigate" ^
      -H "sec-fetch-user: ?1" ^
      -H "sec-fetch-dest: document" ^
      -H "accept-language: zh-CN,zh;q=0.9" ^
      -H "cookie: "**************" ^
      --compressed
    已采纳该答案
    评论
    解决 1 无用
    打赏 举报
  • qq_41870875 2021-06-17 23:32

    有种可能, 是网站判断了 来源 后面还有一台负载均衡,cdn之类的服务器或者是策略, 如果正常访问了一次,就会生成个临时的文件,所以爬取的并不是服务器真正意义上的数据, 是间接爬取的,可能你的http请求头有问题吧

    评论
    解决 无用
    打赏 举报
  • u010705265 2021-06-18 12:05

    感谢大佬回答,刚开始学爬虫不是很明白。没浏览过的网页,用BeautifulSoup解析出来结果在下面截图,在浏览器打开一次就能正常解析。代码也贴了,求大佬指导。

    # coding:utf-8
    import requests #请求网页信息模块
    import re
    import os
    from bs4 import BeautifulSoup
    import pandas as pd
    import time
    import lxml
    
    lujing=r'C:\Users\19093068\Music'
    baseurl = 'http://www.pbc.gov.cn/zhengwugongkai/4081330/4081344/4081407/4081705/index.html'
    date1='2017-03-01'
    proxies={
    'http':'http://10.37.224.1:8080'
    }
    headers = {'User-Agent': 'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);',
               'Referer': 'http://www.pbc.gov.cn/',
               'DNT': '1',
               'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9',
               'Connection': 'keep-alive',
               'Accept-Language': 'zh-CN,zh;q=0.9,en-CN;q=0.8,en;q=0.7',
               'Accept-Encoding': 'gzip, deflate, br'}
    
    res = requests.get(baseurl,proxies=proxies)
    res.encoding = 'utf-8'
    bs = BeautifulSoup(res.text, 'html.parser')  # 解码,'html.parser'是解析器
    a=bs.find('ul',class_="txtlist")
    d=a.find_all('li')
    for e in d:
        f=e.find('span',class_="date")
        if f.text<=date1:
            print("已导出完成")
            break
        g=e.find('a')
        h = g.get('href')
        l='http://www.pbc.gov.cn'+h
        print(l)
    
        res2 = requests.get(l,proxies=proxies,headers=headers)
        res2.encoding = 'utf-8'
        bs2 = BeautifulSoup(res2.text, 'html.parser')  # 解码,'html.parser'是解析器
        print(bs2)
        time.sleep(1)
        name=bs2.find('title').text
        print(name)
        tables=pd.read_html(res2.text)[0]
        excle_name=name+'.xlsx'
        os.chdir(lujing)
        tables.to_excel(excle_name,header=0,index=0)

     

    评论
    解决 无用
    打赏 举报

相关推荐 更多相似问题