am_thinking
am_thinking
2016-03-01 01:53

请问scrapy爬虫使用代理的问题

  • 爬虫
  • python
  • scrapy

我用scrapy爬虫来抓取数据,购买了一些代理,看scrapy文档上面介绍使用代理的话要编写Middleware,但是我不打算使用Middleware,我尝试了这样

 def start_requests(self):
    name = my_name
    password = password
    proxy = my proxy
    return[
           FormRequest(url,formate={'account':my_name,'password':password},
                      meta={'proxy':proxy},
                      callback=self.after_login)
        ]
def after_login(self, response):
    response.xpath

但是返回了错误,请问各位老师如何不使用middleware然后可以使用代理?谢谢

  • 点赞
  • 回答
  • 收藏
  • 复制链接分享

1条回答