鬼画符_S1 2019-08-06 14:31 采纳率: 0%
浏览 742

scrapy在多线程模式下，为每个线程设置独立的代理ip，并在后续请求不变，如何做到？

遇到的一个问题，需求是scrapy在middlewares.py中想为每个线程设置独立的ip
但是对方网站追踪cookie和ip地址为后续请求做验证，顾需要在第一次为每个线程设置完代理后，便不再改变使之持续如何做到，我现在可以做到的是为每个请求分配不同ip或者为所有请求分配同一个ip，没办法做到位每个线程分配不同ip并使之持续不变

  • 写回答

1条回答

  • Chares_funs 2019-10-04 11:05
    关注

    对每个线程单独分配一个代理IP操作比较难以实现，但是可以根据request的meta属性为每一个request对象设置一个固定的代理IP

    request对应的response对象会自动复制request的meta属性，根据meta属性可以很简单的实现为一个request绑定一个代理的功能

    评论

报告相同问题？

悬赏问题

  • ¥15 素材场景中光线烘焙后灯光失效
  • ¥15 请教一下各位，为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 保护模式-系统加载-段寄存器