2 zengkunling zengkunling 于 2016.03.17 14:45 提问

求教python requests.get中传多个UA的问题

如题。
因为被重定向,所以写了用多个UA来获取网页源码,不是很清楚是不是只要在header中写个UA字典然后request.get方法就会在获取网页源码的时候自己从几个UA中随机选一个(像proxies?),还是还需要手动写random函数?
另,如果在header中写了几个UA,然后还加上referer可以吗?
就是像下面这样写:

 header = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_3) AppleWebKit/601.4.4 (KHTML, like Gecko) Version/9.0.3 Safari/601.4.4',
              'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1',
              'User-Agent':'Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11',
              'User-Agent':' Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
              'referer':'https://www.taobao.com/'
              }
                            .....
                            html = requests.get(url,headers = header,cookies = cookie,proxies = proxies)

谢谢!

1个回答

mianbaohebg
mianbaohebg   2016.12.17 22:58

PHP上层接口的封装。别人底层接口做的是单一的增删改。我需要调用多个不同服务器上的接口来处理我需要的数据。进行更新到相应的接口里面。但是如果有的数据更改不成功了。需要事务的回滚。现在我知道的是同一个数据库里面的话,操作数据库的事务是可以实现的。但是不同的服务器不同的数据库,我需要事务处理的话。需要怎么做。我百度了分布式事务。但是没看懂。百度说的是JAVA的。我写PHP的跟他不一样。求大神指点

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
初次接触python爬虫requests.get涉及的UA(浏览器标识信息)问题
初次接触学习崔大神的python爬虫时候,其中利用requests.get进行网页抓取时候涉及UA(浏览器标识信息)问题。开始没有看明白,大神也只是简单提示爬虫的时候必须添加,其他息没有提示。最后自己给也给忽视了。今天学习别人的爬虫代码,又碰到了上面类似的 UA 代码,不理解。所以百度了下,下面分享下,供IT小白同道人参考。1.什么是UA User Agent中文名为用户代理,简称 UA,它是一个...
python3使用requests模块的get方法做爬虫(伪装浏览器)
获取网页对象可以使用两种方法: 使用urllib模块的urlopen方法: import urllib reponse=urllib.urlopen("http://www.itcast.cn") print(reponse.read()) reponse.read():打开网页源代码。 reponse.getcode():获取http状态码:200表示请求完成,4
requests库入门-6-Params参数请求举例
前面一篇,我们介绍了三种带参数的请求类型划分。这篇,介绍通过github上的API,来举例一个params参数接口的演示。 先找到如下图位置,地址是https://developer.github.com/v3/users/       看到上面的红圈的参数"since",待会我们需要。阅读下这个接口的作用,大致是打印出今天所有登录github的用户的信息,有时候我们不想看所以,所以这个地
python requests三种带参数的请求方式
def user_request(): #     parmertes={"wd":"python"}     response=requests.get(build_url("user/emails"),auth=("imoocdemo","imoocdemo123"))     print "Headers>>"     print response.text     print "
requests请求GET、POST、IP代理访问
requests; 代理设置;
Python中Requests模块的异常值处理
在我们用Python的requests模块进行爬虫时,一个简单高效的模块就是requests模块,利用get()或者post()函数,发送请求。 但是在真正的实际使用过程中,我们可能会遇到网络的各种变化,可能会导致请求过程发生各种未知的错误导致程序中断,这就使我们的程序不能很好的去处理错误。所以为了使我们的程序在请求时遇到错误,可以捕获这种错误,就要用到try…except方法,以及了解requ...
每天一个python模块之Requests
原文链接:http://www.yyztech.com/archives/54/ 我的站点:http://www.yyztech.com/ 动笔前就已经想到,这将会是一个很长系列的文章,因为python有用的模块太多了。那么,就从这个最长用到的Requests模块开始吧!Requests模块是一个用于网络访问的模块,其实类似的模块有很多,比如urllib,urllib2,httplib,htt
Python 爬虫一些常用的UA(user-agent)
USER_AGENTS = [ "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser;...
【python 爬虫】伪造UA字符串
写好爬虫的原则只有一条: 就是让你的抓取行为和用户访问网站的真实行为尽量一致。1、伪造UA字符串,每次请求都使用随机生成的UA。 为了减少复杂度,随机生成UA的功能通过第三方库fake-useragent实现pip install fake-useragent2、生成一个UA字符串只需要如下代码:核心代码:from fake_useragent import UserAgent ua=UserA
requests模块post/get基本用法
python用requests模块写post/get接口 pip install requests 安装requests模块 实例:# -*- coding: utf-8 -*- import sys reload(sys) sys.setdefaultencoding('utf8') import requests import jsondef zp(r): try: