木目- 2016-02-13 13:08 采纳率: 0%
浏览 3696

爬虫过程中同一URL是不同的网页内容，这样的可能会漏掉很多网页，这种问题怎么解决

比如网站会根据不同的城市显示不同的网页内容，但URL是一样的，爬虫应该采取什么措施防止漏掉这些页面

  • 写回答

3条回答

  • oyljerry 2016-02-13 14:23
    关注

    直接拿到不同城市请求的那个URL，然后获取内容

    评论

报告相同问题？

悬赏问题

  • ¥15 素材场景中光线烘焙后灯光失效
  • ¥15 请教一下各位，为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置
  • ¥15 有没有研究水声通信方面的帮我改俩matlab代码
  • ¥15 ubuntu子系统密码忘记
  • ¥15 保护模式-系统加载-段寄存器