第一次能够成功抓取,然后就开始抓取一些不存在的页面,网站监测了也没有抓取的那些不存在页面链接!下面贴上正确抓取的页面
4.时间:04:03:22|IP:14.204.93.198验证 |状态:200-0-0|原始
URL:http://hctop.cn/
用户:百度蜘蛛Mozilla/5.0+(compatible;+Baiduspider-render/2.0;++http://www.baidu.com/search/spider.html)
每天都是几百次抓取不存在的链接?搞不清楚是怎么回事了·这样下去对网站有没有影响?