Heritrix中CrawlURI类什么意思？
最近在研究Heritrix源码，不明白Heritrix的CrawlURI类和CandidateURI啥意思？
Heritrix中CrawlURI类什么意思？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
2条回答 默认 最新
Java面试专栏 2011-11-23 22:06关注CrawlURI类和CandidateURI类都是Heritrix对URL进行处理的核心类。
CrawlURI代表一个候选URL，CandidateURI也是一个URL，在被发现或检查通过后会被加到队列。
CrawlURI和CandidateURI的区别在于CrawlURI是由通过了调度器(Frontier)的CandidateURI转换而来的。
具体你可以看看这篇博客：
http://www.yun5u.com/articles/heritrix-1-crawluri.html本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报 分享
- 2011-11-23 21:47回答 2 已采纳 CrawlURI类和CandidateURI类都是Heritrix对URL进行处理的核心类。 CrawlURI代表一个候选URL，CandidateURI也是一个URL，在被发现或检查通过后会被加到
- 2015-12-07 03:51回答 3 已采纳 自己顶一下，各位大神，欢迎浏览
- 2011-11-21 21:50回答 1 已采纳 怎么在Eclipse下搭建Heritrix-1.14.0 1、在Eclipse下新建一个Java工程，命名Heritrix 2、将heritrix-1.14.0-src文件解压，在src-&g
- 2023-02-25 19:30minmax329的博客 使用Heritrix来抓取网页必然会存在一些不需要的数据或者URL，需要用正则表达式来过滤到你不想要的东西,抓取和过滤的原理是一样的,就是具有共性的头和尾,把中间部分抓出来，正则表达式在抓取中应用比较多,也可以称之...
- 2011-10-19 09:23回答 4 已采纳 jsoup 是一个java操作html的类库 [url]www.jsoup.org[/url] 有例子的 jsoup的引用 直接把jsoup.jar拷贝到myeclipse中的项目目录下的web
- 2016-11-26 08:02回答 1 已采纳 http://blog.csdn.net/historyasamirror/article/details/6604344
- 2011-11-22 21:51回答 1 已采纳 最简单的配置是只配置以下两个参数： user-agent: Mozilla/5.0 (compatible; [b]heritrix/1.14.0 [/b]+[b]http://192.168.1
- 2013-04-30 16:31fanxiaoqing的博客 Heritrix中的URL比较特殊,有以下继承关系(由于不对继承关系作介绍,所以这里就不画图了): 1)org.archive.crawler.datamodel.CrawlURI——>CandidateURI 2)org.archive.net.UURI——>org.arc
- 2010-02-04 20:14回答 2 已采纳 哈哈，我没有看清楚原文中'而我是以此方式运行的程序'的意思，问题出在line.replace(charAt, (String) map.get(charAt)); 这句话， 应该是line = l
- 2012-07-08 19:35回答 3 已采纳 首先嘛 先搞清楚搜索引擎的架构 爬虫方面 比如你是用python的 看下urllib httplib 分词方面 就看Lucene 其实分词也蛮简单的 关键是词库。机器怎么发现新词 上面2个
- 2009-07-21 11:00回答 3 已采纳 httpcon.setRequestProperty("User-Agent", "ymeq");
- 2021-02-12 19:55weixin_39945810的博客 Heritrix是一个由Java开发的开源Web爬虫系统，用来获取完整的、精确的站点内容的深度复制，具有强大的可扩展性，运行开发者任意选择或扩展各个组件，实现特定的抓取逻辑。一、Heritrix介绍Heritrix采用了模块化的...
- 2013-11-26 22:08hellbaby666的博客 Heritrix的类的确很繁琐,往往继承了一层又一层,最多的继承好像有7层。下面就一个包一个包的说明每个类的作用，由于里面Heritrix组件分明，很多组件没用到的同时该组件的类我也没怎么接触,所以这里会忽略一部分，如果...
- 2015-03-26 17:22liuyu1942的博客 在Prefetcher中取消robots.txt的限制 Robots.txt是一种专门用于搜索引擎网 络爬虫的文件，当构造一个网站时，如果作者希望该网站的内容被搜索引擎收录，就可以在网站中创建一个纯文本文件robots.txt，在这...Heritrix
- 2021-02-28 11:56weixin_39986027的博客 一、引言：最近在忙某个商业银行的项目，需要引入外部互联网数据作为参考，作为技术选型阶段的工作，之前...比较过一些之后，初步认定Heritrix基本能够满足需要，当然肯定是需要定制的了。二、版本选择Heritrix当...
- 2016-08-12 16:24baalhuo的博客 使用Heritrix进行主题抓取
- 2014-07-25 15:05java_wliang的博客 扩展 Heritrix 我们先来分析一下 Heritrix 的总体结构和 URI 的处理链。 Heritrix 的总体结构 Heritrix 采用了模块化的设计，用户可以在运行时选择要用的模块。它由核心类（core classes）和插件模块...
- 2015-05-04 19:39江江梁的博客 Url是爬虫的核心,因为爬虫就是依赖URL一层一层的抓取下去，最后完成整个抓取。Heritrix中的URL比较特殊,有以下继承关系(由于不对继承关系作介绍,所以这里就不画图了): 1)org.archive.crawler.datamodel.C
- 2012-06-10 16:35iteye_16284的博客 Heritrix中的URL比较特殊,有以下继承关系(由于不对继承关系作介绍,所以这里就不画图了): 1)org.archive.crawler.datamodel.CrawlURI——>CandidateURI 2)org.archive.net.UURI——>org.archive....
- 2016-08-26 16:51lzj0327的博客 https://webarchive.jira.com/wiki/display/Heritrix/Duplication+Reduction+Processors 这个是官网的文章 http://blog.sina.com.cn/s/blog_5f54f0be0101hdep.html http://blog.csdn.net/historyasamirror/a
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 素材场景中光线烘焙后灯光失效
- ¥15 请教一下各位，为什么我这个没有实现模拟点击
- ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
- ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
- ¥20 有关区间dp的问题求解
- ¥15 多电路系统共用电源的串扰问题
- ¥15 slam rangenet++配置
- ¥15 有没有研究水声通信方面的帮我改俩matlab代码
- ¥15 ubuntu子系统密码忘记
- ¥15 保护模式-系统加载-段寄存器