如何实现每次请求更换user_agent?

以这种遍历的方式爬信息,应该是每遍历一个地址都对应有一次请求吧,那每次请求的时候也应该是随机的请求头才对,但是我设置的随机请求头在遍历range(5, 1000)整个过程从来没有换过user_agent,只有重新运行程序才会出现新的user_agent。所以我对这个随机请求头有什么误解吧!还是range(5, 1000)只发生了一次请求?如何实现随每次请求更换user_agent呢?(单个爬虫,非框架)


user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0"]

headers = {'User-Agent': random.choice(user_agent)}

urls = [f'https://api.bilibili.com/x/web-interface/view?aid={av_num}' for av_num in range(5, 1000)]

for url in urls:
    response = requests.request("get", url, headers=headers)
    print(headers)

2个回答

当程序运行到

headers = {'User-Agent': random.choice(user_agent)}

_这里时,choice函数会随机挑选一个请求头,将它赋值给headers,从此headers的值就确定下来了。
如果需要随机更换请求头,需要把上面的语句移至for循环之内。更改后的代码如下:

import requests
import random

user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0"]


urls = [f'https://api.bilibili.com/x/web-interface/view?aid={av_num}' for av_num in range(5, 1000)]

for url in urls:
    headers = {'User-Agent': random.choice(user_agent)}
    response = requests.request("get", url, headers=headers)
    print(headers)

为什么要随机更换user_agent。如果你是为了反爬,那么更换ip更有效。没有人把user-agent当作区分是不是同一个客户端的依据。

Rbute
Rbute 通常如你所说,不过在学习阶段更重要的是想明白实现的逻辑.
4 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问