m0_57965808 2022-02-28 16:03 采纳率: 90.9%
浏览 36
已结题

有一个爬取网站的思路，请各位提出宝贵意见

我正在尝试爬取一个文档网站，因为没什么经验，所以在这里说一下我的大致思路，请各位师傅指出各种不成熟的地方。
我用的爬虫是最常见的通过url进入页面爬取的，所以我想如果我要爬取整个网站的话，那么我就要需要先进入到一个页面之中，将所有的链接收集保存起来，然后爬取完进入的这个页面信息后，再遍历保存的连接，进行爬取。如果遇到同样的连接就不爬。这个是我的大致思路。
但是我有点担心通过这个模式真的能爬取完一个网站上所有的页面信息么？会不会因为页面之间关联性不强导致有一部分页面爬取不到呢？
有没有什么工具能检测爬取网站页面的百分比呢？
望各位提出宝贵的意见与批评。

  • 写回答

1条回答 默认 最新

  • m0_46578370 2022-02-28 17:03
    关注

    链接给出来， 一般网站都会有导航栏，按导航栏爬就行

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

问题事件

  • 系统已结题 3月8日
  • 已采纳回答 2月28日
  • 创建了问题 2月28日

悬赏问题

  • ¥20 机器学习能否像多层线性模型一样处理嵌套数据
  • ¥20 西门子S7-Graph,S7-300，梯形图
  • ¥50 用易语言http 访问不了网页
  • ¥50 safari浏览器fetch提交数据后数据丢失问题
  • ¥15 matlab不知道怎么改，求解答！！
  • ¥15 永磁直线电机的电流环pi调不出来
  • ¥15 用stata实现聚类的代码
  • ¥15 请问paddlehub能支持移动端开发吗？在Android studio上该如何部署？
  • ¥20 docker里部署springboot项目，访问不到扬声器
  • ¥15 netty整合springboot之后自动重连失效