github_50540588 2022-01-17 10:28 采纳率: 0%
浏览 91

scrapy框架与selenium,如何使中间件返回多个response

万分感谢您的解答与建议

我的中间件中实现了模拟登录(中间有手机验证码的登录,手机验证码发送次数有限制)和返回需要爬取的某一页(需要返回不止一页)

但是,我只能返回一个response,
如果多次返回一个response来代替返回多个response的话,不能重复登录(验证码次数超限),
如果把selenium模拟登录放在其他地方的话,或者第二次进入不去执行它的话,没有登录状态爬不了数据(使用着代理IP池,如果保存cookie,可能与yield Request的IP不匹配)

  • 写回答

2条回答 默认 最新

  • CSDN专家-黄老师 2022-01-17 11:55
    关注

    在中间件设置判断,或者将模拟登录不要用中间件形式表示

    评论

报告相同问题?

问题事件

  • 创建了问题 1月17日