蘑菇帮 2019-07-07 19:46 采纳率: 38.5%
浏览 2077
已结题

python 如何爬取url翻页不变的网址

http://mzj.beijing.gov.cn/wssbweb/wssb/dc/searchOrgList.do?action=searchOrgList
我需要爬取这个网站每一家公司的详细信息,我的思路是通过这个主页面爬取所有详情页面的网址,然后再打开详情页面(公司详细信息页面)爬取需要的数据。我现在面临的问题是,这个网址翻页时网址没有发生变化,在网上查了很多方法都没有用,总是重复爬取第一页内容。
求各位大神赐教!!
这是我的代码:
图片说明

  • 写回答

2条回答 默认 最新

  • 熊熊玩python 2019-07-12 11:02
    关注

    这样太麻烦了,建议使用selenium来爬取

    评论

报告相同问题?