爬虫过程中同一URL是不同的网页内容,这样的可能会漏掉很多网页,这种问题怎么解决

比如网站会根据不同的城市显示不同的网页内容,但URL是一样的,爬虫应该采取什么措施防止漏掉这些页面

查看全部
u011038411
木目-
2016/02/13 13:08
  • 爬虫
  • 点赞
  • 收藏
  • 回答
    私信

3个回复