RecycleBins
2020-02-25 01:09
采纳率: 50%
浏览 448

用Request库向百度搜索引擎提交关键词失败?

最近在学python爬虫,在做向搜索引擎提交关键字的那个实例时遇到了如下问题
百度搜索引擎的接口是:http://www.baidu.com/s?wd=keyword
我写了如下代码:

import requests
kv = {'wd':'python'}
kw = {'User-Agent':'Mozilla/5.0'}
r = requests.get("http://www.baidu.com/s",params = kv,headers = kw)
print(r.status_code)
print(r.request.url)

按照前面所学到的内容(我甚至改变了User-Agent)
图片说明

打印出的url链接应该是:http://www.baidu.com/s?wd=python

可是我上述的代码输出为
图片说明

返回的url链接打开之后是一个百度的验证界面,请问这是不是一种反爬机制?这其中的机理是什么?

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

1条回答 默认 最新

  • 幸福丶如此 2020-02-25 09:37
    已采纳

    请求头和url里面少了东西,所以报错了

    # -*- coding:utf-8 -*-
    
    
    import requests
    kv = {'wd':'python'}
    ##请求头里面添加accept的内容
    kw = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36',
        "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3"
          }
    r = requests.get("http://www.baidu.com/s?",params = kv,headers = kw)      #url是get请求要加上?
    print(r.status_code)
    print(r.request.url)
    
    点赞 打赏 评论

相关推荐 更多相似问题