如题。
因为被重定向,所以写了用多个UA来获取网页源码,不是很清楚是不是只要在header中写个UA字典然后request.get方法就会在获取网页源码的时候自己从几个UA中随机选一个(像proxies?),还是还需要手动写random函数?
另,如果在header中写了几个UA,然后还加上referer可以吗?
就是像下面这样写:
header = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/601.4.4 (KHTML, like Gecko) Version/9.0.3 Safari/601.4.4',
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
'User-Agent':' Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
'referer':'https://www.taobao.com/'
}
.....
html = requests.get(url,headers = header,cookies = cookie,proxies = proxies)
谢谢!