如题，如何合理的设置depth、topN等参数，加入我需要爬取阿里巴巴的所有采购信息，这样的话数据量会很大，然后怎么设置参数才能尽快爬取出最大量的数据呢
如何合理的设置nutch的depth、topN等参数
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
0条回答
- 2015-01-08 04:01回答 2 已采纳 网站发现你爬虫，ban了你的请求
- 2019-04-12 12:47回答 1 已采纳 In order to run Nutch you need the JAVA_HOME environment variable set and pointing to the proper p
- 2023-03-17 15:37回答 3 已采纳 谢谢各位，已经解决问题了
- 2022-04-04 14:47liaowenxiong的博客 Nutch安装 一、需求部份 a) Nutch是Java开发的所以需要下载Java JDK 下载地址http://java.sun.com/javase/downloads/index.jsp b) Nutch的演示搜索页面是Jsp的需要Tomcat做服务器 下载地址：...
- 2014-12-07 15:41回答 1 已采纳 nutch这款软件确实好友许多不足之处需要跟进，持续时间能长点更好.
- 2015-01-11 16:46回答 2 已采纳 建议多进程，多台计算机跑，加快速度，也可能和你的单IP有关
- 2015-01-10 16:04回答 1 已采纳 [http://fuliang.iteye.com/blog/148999]( "")
- 2021-04-19 05:41六三门的博客 然后去nutch官网下载nutch，不过2.3.1的版本编译时有问题，切换maven2库也没用，会一直卡在以下界面：root@ubuntu:/opt/apache-nutch-2.3.1#antruntimeBuildfile:/opt/apache-nutch-2.3.1/build.xmlivy-probe-antlib...
- 2013-11-12 17:51回答 1 已采纳 nutch1.2在crawl-urlfilter.txt设置站点，1.2以上的版本要在regex-urlfilter.txt中配置。 具体是在accept hosts in MY.DOMAIN.NA
- 2023-03-22 09:16回答 1 已采纳 方法一： 重新安装Cygwin，换一个国外的映像，（163的映像是汉化版的） 方法二： Cygwin Shell里边直接set LANG=en_US是没作用的，好像cygwin shell不支持set
- 2010-03-16 17:55回答 1 已采纳 如果用的是Eclipse的话 1 下载hadoop的源码，通常是一个压缩文件 *.zip 2 在Eclipse中，点击一个hadoop的类，因为你还没有导入，Eclipse会弹出一个框，你
- 2021-01-19 06:06阿木吃饭用大碗的博客 基本环境：linux centos6.5 nutch2.2.1源码包，mysql 5.5 ，elasticsearch1.1.1, jdk1.71、下载地址http://mirror.bjtu.edu.cn/apache/nutch/2.2.1/解压2、修改数据存储方式是mysql修改nutch根目录/ivy/ivy.xml文件...
- 2009-01-09 11:26回答 3 已采纳 http://www.uniontransit.com/apache/lucene/nutch/?C=N;O=D
- 2021-11-24 20:14啊哇哇哇无无无无无无无无无无无的博客 在整个crawl中，generator主要有以下几个作用： 1，过滤不及格url （使用url过滤插件） ... 7，收集url, 直至到达 topN 指定量 那我们来看看generator的第一个job都干了什么。 for (i = 0; i &...
- 2021-02-27 14:34炁卺西蜀的博客 在使用本教程之前，需要满足条件：1)有一台Linux或Linux虚拟机2)安装JDK(推荐1.7)3)安装Apache Ant下载Nutch源码：安装IDE：推荐使用Intellij或者Netbeans，如果用eclipse也可以，不推荐。Intellij官方下载地址：...
- 2021-05-15 09:27成西风的博客 Nutch，一个爬虫或者搜索引擎(加上索引的话)。现在Nutch的最新版本是Nutch2.1。Nutch所有的版本可在这个网址下载http://archive.apache.org/dist/nutch/，这里使用的是Nutch1.6。1.下载Nutch1.6.到...
- 2021-05-15 09:27寒山皓月的博客 我是在D:\cygwin\usr\local\nutch(即在nutch目录下建立url.txt)。里面写要抓取的url的名称，每个url必定要在末尾加上“/”。例如：http://www.doczj.com/doc/2b8232fefab069dc502201f5.html/8、抓取网页。进入nutch...
- 2021-01-19 09:51好学的Jack的博客 首先，参考笨小葱之前的博客，完成mysql的安装和nutch2.x的安装编译。然后，修改一些配置就可以完成集成工作啦MySQL配置1.my.cnf配置分别在[client]、[mysql]下添加“default-character-set=utf8”；在[mysqld]下...
- 2021-02-12 10:29丙等星的博客 = Long.MAX_VALUE) LOG.info("topN = " + topN); } Path crawlDb = new Path(dir + "/crawldb"); Path linkDb = new Path(dir + "/linkdb"); Path segments = new Path(dir + "/segments"); Path indexes = new Path...
- 2018-06-16 17:41LlnkTo的博客 nutch爬虫技术学习知识点1、Nutch1.x比Nutch2.x稳定① Nutch2.x可以将数据放到HBase、Mysql等数据库中，但还在开发阶段② Nutch1.x基于hdfs中SequenceFile文件去存储、管理海量数据；一轮爬取中，将所有的网页都放...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 C# datagridview 栏位进度
- ¥15 vue3页面el-table页面数据过多
- ¥100 vue3中融入gRPC-web
- ¥15 kali环境运行volatility分析android内存文件，缺profile
- ¥15 写uniapp时遇到的问题
- ¥15 vs 2008 安装遇到问题
- ¥15 matlab有限元法求解梁带有若干弹簧质量系统的固有频率
- ¥15 找一个网络防御专家，外包的
- ¥100 能不能让两张不同的图片md5值一样，（有尝）
- ¥15 informer代码训练自己的数据集，改参数怎么改