开了多个脚本爬取数据的时候遇到状态码206,获取不到数据,我写的请求间隔设置在3-5秒,请求的url是api接口。
用开发者工具查看发现接口206的时候 ,主页面会弹出验证码,划过去之后才会重新返回一次数据
根据搜的资料都是说请求头加range字段,返回响应会有range范围,但是我这也没有
负责人要求我开12个脚本同时爬取不同时间段的数据,但是多开会遇到206,每次要等三个小时才能恢复 重新返回200
开了多个脚本爬取数据的时候遇到状态码206,获取不到数据,我写的请求间隔设置在3-5秒,请求的url是api接口。
用开发者工具查看发现接口206的时候 ,主页面会弹出验证码,划过去之后才会重新返回一次数据
负责人要求我开12个脚本同时爬取不同时间段的数据,但是多开会遇到206,每次要等三个小时才能恢复 重新返回200