zhangweijie_cn 2017-04-24 05:36 采纳率: 50%
浏览 1599
已采纳

为什么可以通过百度搜索到别人的博客?

起因,为什么我可以通过百度搜索到别人的博客?
百度是如何收录到这些资源的?网络爬虫?百度蜘蛛?好吧,我想是爬虫之类的技术(如果不是的话,麻烦告知)。

下面就认为是爬虫收录的吧,那么问题来了,爬虫爬的是url还是网页内容?
如果是url,我猜想是,爬虫爬到了csdn的首页,然后爬到首页上的链接(例如博客列表之类的),再通过这些链接获取到页面的内容(通过链接请求,返回页面),然后再分析这个页面,收录。那么,假如我发表一篇博客,首页上一定会出现我之前发表的博客信息吗?如果没有,那百度如何收录我这个博客?

如果是页面内容,那么我想让百度收录我的网站我应该怎么优化我的网站,是在

标签中写title keyword 之类的优化吗?这些问题属于网站优化的技术范畴了吧?问题又来了,如果是页面内容,每一篇博客都是一个静态网页?那csdn 要储存多少html?(姑且认为是html)。

另外个人猜想csdn确实是每一篇博客都是一个html文件,发现这篇文章: http://geek.csdn.net/news/detail/193121 加上.html :http://geek.csdn.net/news/detail/193121.html后是可以访问的,也就是说存在这个193121.html文件?

望高手解惑。不胜感激。

  • 写回答

1条回答 默认 最新

  • threenewbee 2017-04-24 06:10
    关注

    首页上有目录目录里有下一页,所以能遍历到你的网站
    如果是死页(也就是没有任何外部页面链接),那肯定爬不到。当然如果你提交页面去让搜索引擎索引另当别论。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥15 如何提取csv文件中需要的列,将其整合为一篇完整文档,并进行jieba分词(语言-python)
  • ¥15 MapReduce结果输出到HBase,一直连接不上MySQL
  • ¥15 扩散模型sd.webui使用时报错“Nonetype”
  • ¥15 stm32流水灯+呼吸灯+外部中断按键
  • ¥15 将二维数组,按照假设的规定,如0/1/0 == "4",把对应列位置写成一个字符并打印输出该字符
  • ¥15 NX MCD仿真与博途通讯不了啥情况
  • ¥15 win11家庭中文版安装docker遇到Hyper-V启用失败解决办法整理
  • ¥15 gradio的web端页面格式不对的问题
  • ¥15 求大家看看Nonce如何配置
  • ¥15 Matlab怎么求解含参的二重积分?