laomosan 2008-08-05 20:43
浏览 256
已采纳

搜索引擎蜘蛛程序问题

我在研究蜘蛛程序，遇到个疑问。
蜘蛛爬行网页时，是将爬行的网页作为镜像保存下来，再做分析
还是边爬行边分析页面，保存为指定格式的文件（如：TXT格式的）？？

请教高手，谢谢

  • 写回答

1条回答 默认 最新

  • robbin 2008-08-05 23:05
    关注

    肯定是先爬下来再解析，否则你的爬行速度还不是龟速阿。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • 搜索引擎蜘蛛程序问题 struts
    2008-08-05 20:43
    回答 1 已采纳 肯定是先爬下来再解析，否则你的爬行速度还不是龟速阿。
  • 实验报告 java类与对象 java
    2022-05-20 20:22
    回答 2 已采纳 已全部实现。实验2-1运行结果如下： 运动员[name:张飞, age:20, country:中国] 参与跳高项目的人有:[张飞] 实验2-2运行结果如下： 老李(1 李白)释放将进酒技能 小百(
  • pom文件变成蜘蛛，但是ant却没有pom idea intellij-idea java
    2022-10-31 16:21
    回答 1 已采纳 删除pom文件重新引入一下pom文件
  • 基于JAVA的搜索引擎的设计与实现毕业设计
    2023-06-15 13:29
    一般的搜索引擎由网络机器人程序、索引与搜索程序、索引数据库等部分组成。 网络蜘蛛也称为“网络机器人”(Spider)，是一个功能很强的 WEB 扫描程序。它可以在扫描 WEB 页面的同时检索其内的超链接并加入扫描队列...
  • 求蜘蛛纸牌c程序源码！！！ c++
    2015-12-10 13:46
    回答 2 已采纳 [http://www.codeforge.cn/read/120284/SpiderView.cpp__html](http://www.codeforge.cn/read/120284/Spide
  • 如何跳出红蜘蛛的监控？
    2015-12-10 03:31
    回答 9 已采纳 这个简单,我也有过经历,有两种确定的方法一种我自己猜的方法,1:你下载或者有360的话找到360的流量防火墙找到红蜘蛛的进程禁止访问网络或者点击360悬浮加速球在弹出的方框中点击下方的**网速**
  • 可以使用一段代码来阻止旧浏览器访问网站阻止搜索引擎蜘蛛吗？ php
    2011-09-06 04:15
    回答 1 已采纳 No, it shouldn't affect any of major crawlers. get_browser() relies on the User-Agent string sent
  • Java网络爬虫(蜘蛛)源码
    2023-03-19 21:32
    网络爬虫是一个自动提取网页的程序，它为搜索引擎从万维网上下载网页，是搜索引擎的重要组成。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入...
  • php判断真假蜘蛛该怎么修改？ php
    2023-02-19 18:30
    回答 4 已采纳 看起来您正在尝试修改 PHP 代码以从基于用户代理的蜘蛛检测切换到基于 IP 和主机名的检测。这是修改代码以实现此目的的一种方法： function getip() { if ($_SERVE
  • 计算蝉，蜻蜓和蜘蛛的数目。 c++
    2021-10-24 18:41
    回答 1 已采纳 最简单的方法就是直接循环枚举，看哪一种情况符合条件
  • python3矩阵移动问题 python
    2022-11-01 10:01
    回答 1 已采纳 def pinyi(l, n, k, x): count = 1 for i in range(0, n, 2): for j in range(count):
  • 搜索链接Java网络爬虫(蜘蛛)源码-zhizhu
    2023-01-11 16:04
    网络蜘蛛程序是Web搜索引擎技术中关键的一部分。 本论文基于现有的知识理论实现了蜘蛛程序，从给定网址开始进行爬行搜索，利用数据库队列技术管理网页链接，将访问过的网页资源下载到本地硬盘保存。通过使用Lucene...
  • 需要其他方法解决此问题 c语言 有问必答
    2021-11-04 14:26
    回答 3 已采纳 最好理解的就是穷举方法了
  • 搜索链接Java网络爬虫(蜘蛛)源码-zhizhu.zip
    2024-04-20 09:04
    在实际应用中，网络爬虫可以用于搜索引擎的数据收集、舆情监控、竞品分析等多个领域。通过使用Java网络爬虫(蜘蛛)源码_zhizhu.zip，开发者可以轻松地实现一个具有高度定制性和可扩展性的网络爬虫系统。该项目的源...
  • java网络蜘蛛_基于java网络蜘蛛程序
    2021-03-02 11:17
    不期风吟的博客 内容介绍原文档由会员 刘丽 发布基于java网络蜘蛛程序1.2万字 42页包括开题报告，任务书，答辩PPT和论文正文摘 要在...网络蜘蛛程序是Web搜索引擎技术中关键的一部分。本论文基于现有的知识理论实现了蜘蛛程序，...
  • Java网络爬虫(蜘蛛)源码.zip
    2024-03-29 21:22
    Java网络爬虫（也称为蜘蛛）是一段用于自动抓取互联网上的数据并进行分析处理的程序代码。这些爬虫通常用于搜索引擎索引、数据挖掘、市场研究或任何需要从大量网页中提取有用信息的场景。 在Java中，编写网络爬虫...
  • [搜索链接]21M搜索引擎去广告带蜘蛛程序 v1.0_21mss.rar
    2024-04-20 18:54
    【项目资源】：包含前端、后端、移动开发、操作系统、人工智能、物联网、信息化管理、...【沟通交流】：有任何使用上的问题，欢迎随时与博主沟通，博主会及时解答。鼓励下载和使用，并欢迎大家互相学习，共同进步。
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 关于#Java#的问题，如何解决？
  • ¥15 加热介质是液体，换热器壳侧导热系数和总的导热系数怎么算
  • ¥15 想问一下树莓派接上显示屏后出现如图所示画面，是什么问题导致的
  • ¥100 嵌入式系统基于PIC16F882和热敏电阻的数字温度计
  • ¥15 cmd cl 0x000007b
  • ¥20 BAPI_PR_CHANGE how to add account assignment information for service line
  • ¥500 火焰左右视图、视差（基于双目相机）
  • ¥100 set_link_state
  • ¥15 虚幻5 UE美术毛发渲染
  • ¥15 CVRP 图论 物流运输优化