liuyu1942 2015-04-02 04:51
浏览 591

heritrix中WriteMirror有很多网页没有写入

我用heritrix进行抓取的时候，也没报错，但是发现已经download了300多M的东西，在本地Jobs的mirror文件夹里也就40多M,我打开Heritrix的Log，发现很多网页都出现了这个问题
le:FileNotFoundException@MirrorWriter
出现这个问题的网页都没抓下来，请教一下怎么回事

  • 写回答

0条回答 默认 最新

    报告相同问题？

    • Heritrix-User-Manual.rar_heritrix
      2022-09-23 13:43
      Heritrix是一款开源的网络爬虫工具，专为大规模、可扩展的网页抓取而设计。这个名为"Heritrix-User-Manual.rar_heritrix"的压缩包包含了Heritrix用户手册的PDF版本，是学习和操作Heritrix的重要资源。下面将详细介绍...
    • Heritrix的架构图
      2023-09-23 22:23
      Heritrix的架构图
    • Heritrix3.4爬虫需要的jar包
      2022-05-16 11:34
      在Heritrix中，mg4j可能用于存储和索引爬取的网页内容，以便后续分析或检索。 3. **kryo-1.01.jar**：Kryo是一个快速、高效的对象序列化库，可以将Java对象转换为字节流，便于存储和传输。在Heritrix中，Kryo可能...
    • Java爬虫技术框架之Heritrix框架详解
      2020-12-17 04:02
      【Heritrix框架详解】 Heritrix是一款由Java编写的开源Web爬虫系统，专用于获取网站的深度复制，确保内容的完整性和精确性。它的最大特点在于其强大的可扩展性，允许开发者根据需求自由选择或扩展不同的组件，实现...
    • Heritrix在电子信息垂直搜索平台中的应用.pdf
      2021-08-24 22:35
      1. **多线程机制**：Heritrix利用多线程技术提高网页抓取效率。其中，ToePool是一个标准的线程库，用于管理所有的工作线程，确保爬虫能够并行处理多个网页抓取任务。 2. **CrawlController**：这是Heritrix的核心...
    • bbs.rar_Lucene heritrix_bbs_heritrix_heritrix insta_lucene
      2022-09-24 03:03
      Lucene+Heritrix搜索引擎的一个成功案例 市值30000万 只需下载,用Eclipse-import为web工程就可以了 需要安装mysql 5.5 同时由于此工程为web工程所以假如您的Eclipse没有安装tomcatPlugin的话,请也同时安装tomcat...
    • heritrix-3.4.0-SNAPSHOT-dist.zip
      2020-05-03 22:49
      这个工具的设计目的是为了方便用户从互联网上系统地、可定制地抓取数据，无论是网页、图片还是其他类型的在线资源。它的核心功能是模拟浏览器的行为，遵循HTTP协议，遍历并下载指定网站的内容。 Heritrix 3.4.0-...
    • 很好的heritrix学习资料
      2012-03-26 16:26
      总的来说，这些资料提供了全面的Heritrix学习路径，从基础知识到实战经验，再到在Eclipse中的开发配置，对于想要深入理解和使用Heritrix的读者来说，是一套非常有价值的学习资源。通过深入研读并实践这些内容，读者...
    • heritrix-3.4.0-SNAPSHOT-src.zip
      2020-05-03 22:50
      Heritrix 是一个由 java 开发的、开源的网络爬虫，用户可以使用它来从网上抓取想要的资源。官网下载好像要翻墙，我下下来方便大家使用，这是3.4版本，配合heritrix-3.4.0-SNAPSHOT-dist.zip使用
    • heritrix网络爬虫
      2018-06-29 13:11
      Heritrix是一个开源，可扩展的web爬虫项目。用户可以使用它来从网上抓取想要的资源。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。其最出色之处在于它良好的可扩展性,方便用户实现自己的抓取...
    • 开发自己的搜索引擎--Lucene+Heritrix.zip
      2019-06-25 19:21
      Heritrix会按照设定的规则抓取网页并存储在本地或远程存储系统中。 2. **内容预处理**：爬取下来的网页可能包含HTML标签和JavaScript等非文本内容，我们需要对其进行清理和提取纯文本。这个过程可以通过Heritrix的...
    • lucene_book(1).rar_Lucene Heritrix_heritrix_project_search_sym
      2022-09-21 04:01
      Lucene+Heritrix搜索引擎的一个成功案例 市值30000万 只需下载,用Eclipse-import为web工程就可以了 需要安装mysql 5.5 同时由于此工程为web工程所以假如您的Eclipse没有安装tomcatPlugin的话,请也同时安装tomcat...
    • 开发自己的搜索引擎 lucene + heritrix
      2017-11-17 11:06
      在这个过程中，Lucene 和 Heritrix 是两个非常关键的工具，它们分别在搜索引擎的构建中扮演着不同的角色。 首先，Lucene 是一个基于 Java 的开源信息检索库，它为开发者提供了一系列用于构建搜索引擎的工具和接口。...
    • heritrix1.14.4源码+项目
      2018-08-23 20:10
      Heritrix是互联网档案馆开发的一款开源Web抓取工具，专为大规模、可扩展的网页存档设计。这个“Heritrix1.14.4源码+项目”压缩包包含的是Heritrix 1.14.4版本的源代码和相关项目文件，对于学习和理解Web爬虫的工作...
    • 【毕业设计】基于Heritrix的Web信息抽取.doc
      2025-07-13 06:33
      在此毕业设计中，作者将Heritrix作为一个核心工具，提出了一种新的基于Heritrix的Web信息抽取方法。该方法由三个独立功能模块组成，能够在精确抽取的前提下实现通用化。该方法的具体优势在于，它可以根据数据库表的...
    • Heritrix爬虫源码
      2019-01-14 16:44
      Heritrix是一款开源的、可定制的网络爬虫软件，由Internet Archive开发并维护，用于大规模地抓取互联网上的网页信息。它具有高度模块化和灵活性的特点，允许开发者根据需要调整和扩展其功能，以便适应各种不同的爬取...
    • Lucene+Heritrix(搜索引擎开发)
      2018-07-01 09:51
      在探究如何使用Lucene和Heritrix构建搜索引擎之前，我们需要了解这两个工具分别扮演的角色及其在搜索引擎开发中的作用。 Lucene是一个高性能、可伸缩、可扩展的全文检索库，它是用Java编写的开源项目。Lucene的目的...
    • 开发自己的搜索引擎--Lucene+Heritrix
      2018-09-28 21:22
      在使用Heritrix的过程中，你会了解如何设置爬虫的任务，如何选择和过滤需要抓取的网页，以及如何处理和存储抓取到的数据。 除了Lucene和Heritrix之外，开发搜索引擎还需要掌握其他一些技能和知识点，比如网络协议的...
    • 没有解决我的问题, 去提问