遇到的一个问题,需求是scrapy在middlewares.py中想为每个线程设置独立的ip
但是对方网站追踪cookie和ip地址为后续请求做验证,顾需要在第一次为每个线程设置完代理后,便不再改变使之持续如何做到,我现在可以做到的是为每个请求分配不同ip或者为所有请求分配同一个ip,没办法做到位每个线程分配不同ip并使之持续不变
scrapy在多线程模式下,为每个线程设置独立的代理ip,并在后续请求不变,如何做到?
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
- Chares_funs 2019-10-04 11:05关注
对每个线程单独分配一个代理IP操作比较难以实现,但是可以根据request的meta属性为每一个request对象设置一个固定的代理IP
request对应的response对象会自动复制request的meta属性,根据meta属性可以很简单的实现为一个request绑定一个代理的功能解决 无用评论 打赏 举报
悬赏问题
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位,为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后,界面没有,cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码
- ¥15 ubuntu子系统密码忘记
- ¥15 保护模式-系统加载-段寄存器