利用Scrapy-Splash爬取淘宝搜索页面被重定向至登录页面

Question

在Splash上用一下代码模拟打开搜索页面：

function main(splash, args)
  args = {
    url = "https://s.taobao.com/search?q=iPad",
    wait = 5,
    page = 5
  }
  splash.images_enabled = false
  splash:set_user_agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.132 Safari/537.36"
  assert(splash:go(args.url))
  assert(splash:wait(args.wait))
  return {png = splash:png()}
end

不管有没有设置请求头，都是要**等很久很久**，然后被重定向到**淘宝的登录界面**，实在是想不出来到底是怎么回事了。。。

Answer 1

https://blog.csdn.net/weixin_43869010/article/details/89099016