q06270575 2019-04-30 14:25
浏览 546

我的网站hctop.cn百度蜘蛛每天几百次抓取不存在页面是怎么回事?

第一次能够成功抓取,然后就开始抓取一些不存在的页面,网站监测了也没有抓取的那些不存在页面链接!下面贴上正确抓取的页面
4.时间:04:03:22|IP:14.204.93.198验证 |状态:200-0-0|原始
URL:http://hctop.cn/
用户:百度蜘蛛Mozilla/5.0+(compatible;+Baiduspider-render/2.0;++http://www.baidu.com/search/spider.html)

每天都是几百次抓取不存在的链接?搞不清楚是怎么回事了·这样下去对网站有没有影响?

  • 写回答

0条回答 默认 最新

    报告相同问题?

    悬赏问题

    • ¥15 使用C#,asp.net读取Excel文件并保存到Oracle数据库
    • ¥15 C# datagridview 单元格显示进度及值
    • ¥15 thinkphp6配合social login单点登录问题
    • ¥15 HFSS 中的 H 场图与 MATLAB 中绘制的 B1 场 部分对应不上
    • ¥15 如何在scanpy上做差异基因和通路富集?
    • ¥20 关于#硬件工程#的问题,请各位专家解答!
    • ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
    • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
    • ¥30 虚心请教几个问题,小生先有礼了
    • ¥30 截图中的mathematics程序转换成matlab