木目- 2016-02-13 13:08 采纳率: 0%
浏览 3696

爬虫过程中同一URL是不同的网页内容，这样的可能会漏掉很多网页，这种问题怎么解决

比如网站会根据不同的城市显示不同的网页内容，但URL是一样的，爬虫应该采取什么措施防止漏掉这些页面

  • 写回答

3条回答 默认 最新

  • oyljerry 2016-02-13 14:23
    关注

    直接拿到不同城市请求的那个URL，然后获取内容

    评论

报告相同问题？