RecycleBins 2020-02-25 01:09 采纳率: 50%
浏览 490
已采纳

用Request库向百度搜索引擎提交关键词失败?

最近在学python爬虫,在做向搜索引擎提交关键字的那个实例时遇到了如下问题
百度搜索引擎的接口是:http://www.baidu.com/s?wd=keyword
我写了如下代码:

import requests
kv = {'wd':'python'}
kw = {'User-Agent':'Mozilla/5.0'}
r = requests.get("http://www.baidu.com/s",params = kv,headers = kw)
print(r.status_code)
print(r.request.url)

按照前面所学到的内容(我甚至改变了User-Agent)
图片说明

打印出的url链接应该是:http://www.baidu.com/s?wd=python

可是我上述的代码输出为
图片说明

返回的url链接打开之后是一个百度的验证界面,请问这是不是一种反爬机制?这其中的机理是什么?

  • 写回答

1条回答 默认 最新

  • 7*24 工作者 2020-02-25 09:37
    关注

    请求头和url里面少了东西,所以报错了

    # -*- coding:utf-8 -*-
    
    
    import requests
    kv = {'wd':'python'}
    ##请求头里面添加accept的内容
    kw = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36',
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3"
          }
    r = requests.get("http://www.baidu.com/s?",params = kv,headers = kw)      #url是get请求要加上?
    print(r.status_code)
    print(r.request.url)
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 高德地图点聚合中Marker的位置无法实时更新
  • ¥15 DIFY API Endpoint 问题。
  • ¥20 sub地址DHCP问题
  • ¥15 delta降尺度计算的一些细节,有偿
  • ¥15 Arduino红外遥控代码有问题
  • ¥15 数值计算离散正交多项式
  • ¥30 数值计算均差系数编程
  • ¥15 redis-full-check比较 两个集群的数据出错
  • ¥15 Matlab编程问题
  • ¥15 训练的多模态特征融合模型准确度很低怎么办