如何解决爬取网站不定时不返回数据

Question

初学爬虫，遇到了棘手问题。
爬某网站采购公告信息，关键词搜索出来有5页100条，每一条里对应一个链接页面有详细信息。
现在是，我可以取到1-3页或1-4页数据，看情况不等，有时候第1页就不行。
也就是说我xpath解析没毛病，网页请求也是对的。
查了网上，有的说删除heads，我试了一样；每页之间我试着time.sleep几秒，也不行。
头大，求指教。

Answer 1

额，看我的专栏呀，专业对口

https://blog.csdn.net/hihell/category_9280209.html

需要看具体站点，可以给我发