python爬不了翻页的数据!拜求大佬解答,困了6个小时了!!!

图片说明图片说明图片说明
求问!!!!!为什么我设置翻页爬取总是获得第一页的数据,相当于第一页写了10次,求大佬告知!!!!

2个回答

能修改下问题,贴代码吗?要不然没法调试,敲代码很耗时的。
可以打印一下循环中的 next_to_fetch 遍历,看看是否正确解析到了下一条 URL 信息。

我建议可以换另一种思路,就是手动去构造下一页的 url

https://www.zhipin.com/c101270100/?query=%E5%BE%8B%E5%B8%88&page=1
https://www.zhipin.com/c101270100/?query=%E5%BE%8B%E5%B8%88&page=2
https://www.zhipin.com/c101270100/?query=%E5%BE%8B%E5%B8%88&page=3
https://www.zhipin.com/c101270100/?query=%E5%BE%8B%E5%B8%88&page=4
https://www.zhipin.com/c101270100/?query=%E5%BE%8B%E5%B8%88&page=5

我们可以观察到,每一页的url中只有 page 参数不同,所以手动去更改页数,即可实现翻页
页数的终止判断条件一个是你设置的最大10页,另一个就是页面爬到的 jobs 为空。

一点小建议,参考一下

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐