Rbute 2020-03-15 17:24 采纳率: 100%
浏览 357
已采纳

如何实现每次请求更换user_agent?

以这种遍历的方式爬信息,应该是每遍历一个地址都对应有一次请求吧,那每次请求的时候也应该是随机的请求头才对,但是我设置的随机请求头在遍历range(5, 1000)整个过程从来没有换过user_agent,只有重新运行程序才会出现新的user_agent。所以我对这个随机请求头有什么误解吧!还是range(5, 1000)只发生了一次请求?如何实现随每次请求更换user_agent呢?(单个爬虫,非框架)


user_agent = [
    "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
    "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0"]

headers = {'User-Agent': random.choice(user_agent)}

urls = [f'https://api.bilibili.com/x/web-interface/view?aid={av_num}' for av_num in range(5, 1000)]

for url in urls:
    response = requests.request("get", url, headers=headers)
    print(headers)
  • 写回答

2条回答 默认 最新

  • Dream starry sky 2020-03-15 19:14
    关注

    当程序运行到

    headers = {'User-Agent': random.choice(user_agent)}
    

    _这里时,choice函数会随机挑选一个请求头,将它赋值给headers,从此headers的值就确定下来了。
    如果需要随机更换请求头,需要把上面的语句移至for循环之内。更改后的代码如下:

    import requests
    import random
    
    user_agent = [
        "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
        "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0"]
    
    
    urls = [f'https://api.bilibili.com/x/web-interface/view?aid={av_num}' for av_num in range(5, 1000)]
    
    for url in urls:
        headers = {'User-Agent': random.choice(user_agent)}
        response = requests.request("get", url, headers=headers)
        print(headers)
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 安卓adb backup备份应用数据失败
  • ¥15 eclipse运行项目时遇到的问题
  • ¥15 关于#c##的问题:最近需要用CAT工具Trados进行一些开发
  • ¥15 南大pa1 小游戏没有界面,并且报了如下错误,尝试过换显卡驱动,但是好像不行
  • ¥15 没有证书,nginx怎么反向代理到只能接受https的公网网站
  • ¥50 成都蓉城足球俱乐部小程序抢票
  • ¥15 yolov7训练自己的数据集
  • ¥15 esp8266与51单片机连接问题(标签-单片机|关键词-串口)(相关搜索:51单片机|单片机|测试代码)
  • ¥15 电力市场出清matlab yalmip kkt 双层优化问题
  • ¥30 ros小车路径规划实现不了,如何解决?(操作系统-ubuntu)