2 u011038411 u011038411 于 2016.02.13 21:08 提问

爬虫过程中同一URL是不同的网页内容,这样的可能会漏掉很多网页,这种问题怎么解决

比如网站会根据不同的城市显示不同的网页内容,但URL是一样的,爬虫应该采取什么措施防止漏掉这些页面

3个回答

oyljerry
oyljerry   Ds   Rxr 2016.02.13 22:23

直接拿到不同城市请求的那个URL,然后获取内容

rui888
rui888   Ds   Rxr 2016.02.14 09:12

肯定有参数判断是那个 城市,你爬虫的时候将 城市的参数 带着。

u011038411
u011038411   2016.02.15 15:26

在网址栏中点击不同的城市显示的URL是一样的,怎么拿到不同城市请求的URL

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!