木目- 2016-02-13 13:08 采纳率: 0%
浏览 3696

爬虫过程中同一URL是不同的网页内容，这样的可能会漏掉很多网页，这种问题怎么解决

比如网站会根据不同的城市显示不同的网页内容，但URL是一样的，爬虫应该采取什么措施防止漏掉这些页面

  • 写回答

3条回答 默认 最新

  • oyljerry 2016-02-13 14:23
    关注

    直接拿到不同城市请求的那个URL，然后获取内容

    评论

报告相同问题？

悬赏问题

  • ¥15 没有注册类 (异常来自 HRESULT: 0x80040154 (REGDB_E_CLASSNOTREG))
  • ¥15 知识蒸馏实战博客问题
  • ¥15 用PLC设计纸袋糊底机送料系统
  • ¥15 simulink仿真中dtc控制永磁同步电机如何控制开关频率
  • ¥15 用C语言输入方程怎么
  • ¥15 网站显示不安全连接问题
  • ¥15 51单片机显示器问题
  • ¥20 关于#qt#的问题：Qt代码的移植问题
  • ¥50 求图像处理的matlab方案
  • ¥50 winform中使用edge的Kiosk模式