zhangweijie_cn 2017-04-24 05:36 采纳率: 50%
浏览 1599
已采纳

为什么可以通过百度搜索到别人的博客?

起因,为什么我可以通过百度搜索到别人的博客?
百度是如何收录到这些资源的?网络爬虫?百度蜘蛛?好吧,我想是爬虫之类的技术(如果不是的话,麻烦告知)。

下面就认为是爬虫收录的吧,那么问题来了,爬虫爬的是url还是网页内容?
如果是url,我猜想是,爬虫爬到了csdn的首页,然后爬到首页上的链接(例如博客列表之类的),再通过这些链接获取到页面的内容(通过链接请求,返回页面),然后再分析这个页面,收录。那么,假如我发表一篇博客,首页上一定会出现我之前发表的博客信息吗?如果没有,那百度如何收录我这个博客?

如果是页面内容,那么我想让百度收录我的网站我应该怎么优化我的网站,是在

标签中写title keyword 之类的优化吗?这些问题属于网站优化的技术范畴了吧?问题又来了,如果是页面内容,每一篇博客都是一个静态网页?那csdn 要储存多少html?(姑且认为是html)。

另外个人猜想csdn确实是每一篇博客都是一个html文件,发现这篇文章: http://geek.csdn.net/news/detail/193121 加上.html :http://geek.csdn.net/news/detail/193121.html后是可以访问的,也就是说存在这个193121.html文件?

望高手解惑。不胜感激。

  • 写回答

1条回答 默认 最新

  • threenewbee 2017-04-24 06:10
    关注

    首页上有目录目录里有下一页,所以能遍历到你的网站
    如果是死页(也就是没有任何外部页面链接),那肯定爬不到。当然如果你提交页面去让搜索引擎索引另当别论。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 使用C#,asp.net读取Excel文件并保存到Oracle数据库
  • ¥15 C# datagridview 单元格显示进度及值
  • ¥15 thinkphp6配合social login单点登录问题
  • ¥15 HFSS 中的 H 场图与 MATLAB 中绘制的 B1 场 部分对应不上
  • ¥15 如何在scanpy上做差异基因和通路富集?
  • ¥20 关于#硬件工程#的问题,请各位专家解答!
  • ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错,维度不匹配