RecycleBins 2020-02-25 01:09 采纳率: 50%
浏览 490
已采纳

用Request库向百度搜索引擎提交关键词失败?

最近在学python爬虫,在做向搜索引擎提交关键字的那个实例时遇到了如下问题
百度搜索引擎的接口是:http://www.baidu.com/s?wd=keyword
我写了如下代码:

import requests
kv = {'wd':'python'}
kw = {'User-Agent':'Mozilla/5.0'}
r = requests.get("http://www.baidu.com/s",params = kv,headers = kw)
print(r.status_code)
print(r.request.url)

按照前面所学到的内容(我甚至改变了User-Agent)
图片说明

打印出的url链接应该是:http://www.baidu.com/s?wd=python

可是我上述的代码输出为
图片说明

返回的url链接打开之后是一个百度的验证界面,请问这是不是一种反爬机制?这其中的机理是什么?

  • 写回答

1条回答 默认 最新

  • 7*24 工作者 2020-02-25 09:37
    关注

    请求头和url里面少了东西,所以报错了

    # -*- coding:utf-8 -*-
    
    
    import requests
    kv = {'wd':'python'}
    ##请求头里面添加accept的内容
    kw = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36',
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3"
          }
    r = requests.get("http://www.baidu.com/s?",params = kv,headers = kw)      #url是get请求要加上?
    print(r.status_code)
    print(r.request.url)
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 请教:如何用postman调用本地虚拟机区块链接上的合约?
  • ¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题:[h264 @ 000000004faf7500]no frame?
  • ¥15 乘性高斯噪声在深度学习网络中的应用
  • ¥15 运筹学排序问题中的在线排序
  • ¥15 关于docker部署flink集成hadoop的yarn,请教个问题 flink启动yarn-session.sh连不上hadoop,这个整了好几天一直不行,求帮忙看一下怎么解决
  • ¥15 深度学习根据CNN网络模型,搭建BP模型并训练MNIST数据集
  • ¥15 C++ 头文件/宏冲突问题解决
  • ¥15 用comsol模拟大气湍流通过底部加热(温度不同)的腔体
  • ¥50 安卓adb backup备份子用户应用数据失败
  • ¥20 有人能用聚类分析帮我分析一下文本内容嘛