zhangweijie_cn 2017-04-23 21:36 采纳率: 50%
浏览 1599
已采纳

为什么可以通过百度搜索到别人的博客?

起因,为什么我可以通过百度搜索到别人的博客?
百度是如何收录到这些资源的?网络爬虫?百度蜘蛛?好吧,我想是爬虫之类的技术(如果不是的话,麻烦告知)。

下面就认为是爬虫收录的吧,那么问题来了,爬虫爬的是url还是网页内容?
如果是url,我猜想是,爬虫爬到了csdn的首页,然后爬到首页上的链接(例如博客列表之类的),再通过这些链接获取到页面的内容(通过链接请求,返回页面),然后再分析这个页面,收录。那么,假如我发表一篇博客,首页上一定会出现我之前发表的博客信息吗?如果没有,那百度如何收录我这个博客?

如果是页面内容,那么我想让百度收录我的网站我应该怎么优化我的网站,是在

标签中写title keyword 之类的优化吗?这些问题属于网站优化的技术范畴了吧?问题又来了,如果是页面内容,每一篇博客都是一个静态网页?那csdn 要储存多少html?(姑且认为是html)。

另外个人猜想csdn确实是每一篇博客都是一个html文件,发现这篇文章: http://geek.csdn.net/news/detail/193121 加上.html :http://geek.csdn.net/news/detail/193121.html后是可以访问的,也就是说存在这个193121.html文件?

望高手解惑。不胜感激。

  • 写回答

1条回答 默认 最新

  • threenewbee 2017-04-23 22:10
    关注

    首页上有目录目录里有下一页,所以能遍历到你的网站
    如果是死页(也就是没有任何外部页面链接),那肯定爬不到。当然如果你提交页面去让搜索引擎索引另当别论。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
编辑
预览

报告相同问题?