最近在学python爬虫,在做向搜索引擎提交关键字的那个实例时遇到了如下问题
百度搜索引擎的接口是:http://www.baidu.com/s?wd=keyword
我写了如下代码:
import requests
kv = {'wd':'python'}
kw = {'User-Agent':'Mozilla/5.0'}
r = requests.get("http://www.baidu.com/s",params = kv,headers = kw)
print(r.status_code)
print(r.request.url)
按照前面所学到的内容(我甚至改变了User-Agent)
打印出的url链接应该是:http://www.baidu.com/s?wd=python
可是我上述的代码输出为
返回的url链接打开之后是一个百度的验证界面,请问这是不是一种反爬机制?这其中的机理是什么?