木目- 2016-02-13 13:08 采纳率: 0%
浏览 3696

爬虫过程中同一URL是不同的网页内容，这样的可能会漏掉很多网页，这种问题怎么解决

比如网站会根据不同的城市显示不同的网页内容，但URL是一样的，爬虫应该采取什么措施防止漏掉这些页面

  • 写回答

3条回答

  • oyljerry 2016-02-13 14:23
    关注

    直接拿到不同城市请求的那个URL，然后获取内容

    评论

报告相同问题？

悬赏问题

  • ¥15 sqlite 附加（attach database）加密数据库时，返回26是什么原因呢？
  • ¥88 找成都本地经验丰富懂小程序开发的技术大咖
  • ¥15 如何处理复杂数据表格的除法运算
  • ¥15 如何用stc8h1k08的片子做485数据透传的功能？(关键词-串口)
  • ¥15 有兄弟姐妹会用word插图功能制作类似citespace的图片吗？
  • ¥200 uniapp长期运行卡死问题解决
  • ¥15 请教：如何用postman调用本地虚拟机区块链接上的合约？
  • ¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题：[h264 @ 000000004faf7500]no frame？
  • ¥15 乘性高斯噪声在深度学习网络中的应用
  • ¥15 关于docker部署flink集成hadoop的yarn，请教个问题 flink启动yarn-session.sh连不上hadoop，这个整了好几天一直不行，求帮忙看一下怎么解决