程序大概是这样的,range(1,6)是获取数据的1到5页,如果没数据的话url_list就会等于[],能不能判断在那一页失效后,在当前页面重试3到5次连接。
for i in range(1,6):
res = requests.post(url=url,headers=self.headers,data=data)
page_text = res.text
tree = etree.HTML(page_text)
url_list = tree.xpath('//td[@class="xzxx-first"]/a/@href')