爬虫爬回“您操作太频繁,请稍后再访问”怎么解决

Question

代码如下：

import urllib.request
import jsonpath
import json

url='https://www.lagou.com/lbs/getAAllCitySearchLaabels.json'
request=urllib.request.Request(url)
response=urllib.request.urlopen(request)
html=response.read()
print(html)
jsonobj=json.loads(html)
print(jsonobj,type(jsonobj))
city_list=jsonpath.jsonpath(jsonobj,'$..name')
print(city_list,type(city_list))


file= open('city.json','w')
content=json.dumps(city_list,ensure_ascii=False)
print(content)
file.write(content)
file.close()

Answer 1

用代理池
找一堆免费代理ip,高匿级别的,每次爬取的时候轮询ip池
ps.不建议爬取频率太高,真的把目标网站爬崩了要负法律责任的
有帮助望采纳