RecycleBins 2020-02-25 01:09 采纳率: 0%
浏览 491
已采纳

用Request库向百度搜索引擎提交关键词失败?

最近在学python爬虫,在做向搜索引擎提交关键字的那个实例时遇到了如下问题
百度搜索引擎的接口是:http://www.baidu.com/s?wd=keyword
我写了如下代码:

import requests
kv = {'wd':'python'}
kw = {'User-Agent':'Mozilla/5.0'}
r = requests.get("http://www.baidu.com/s",params = kv,headers = kw)
print(r.status_code)
print(r.request.url)

按照前面所学到的内容(我甚至改变了User-Agent)
图片说明

打印出的url链接应该是:http://www.baidu.com/s?wd=python

可是我上述的代码输出为
图片说明

返回的url链接打开之后是一个百度的验证界面,请问这是不是一种反爬机制?这其中的机理是什么?

  • 写回答

1条回答 默认 最新

  • 7*24 工作者 2020-02-25 09:37
    关注

    请求头和url里面少了东西,所以报错了

    # -*- coding:utf-8 -*-
    
    
    import requests
    kv = {'wd':'python'}
    ##请求头里面添加accept的内容
    kw = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36',
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3"
          }
    r = requests.get("http://www.baidu.com/s?",params = kv,headers = kw)      #url是get请求要加上?
    print(r.status_code)
    print(r.request.url)
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 ansys fluent计算闪退
  • ¥15 有关wireshark抓包的问题
  • ¥15 需要写计算过程,不要写代码,求解答,数据都在图上
  • ¥15 向数据表用newid方式插入GUID问题
  • ¥15 multisim电路设计
  • ¥20 用keil,写代码解决两个问题,用库函数
  • ¥50 ID中开关量采样信号通道、以及程序流程的设计
  • ¥15 U-Mamba/nnunetv2固定随机数种子
  • ¥15 vba使用jmail发送邮件正文里面怎么加图片
  • ¥15 vb6.0如何向数据库中添加自动生成的字段数据。