529656407 2015-01-11 16:46 采纳率: 80%
浏览 1564
已采纳

求一份配置完整简单优化过的nutch

求一份配置完整简单优化过的nutch。自己弄了一个多月了，但是还是爬取不到太多数据，
爬了10多个小时，却只有5万多条数据，所以想找各位大神要一份配置好的可行的nutch（我暂时还没有配hadoop集群，想单机跑），
我试试，看看是不是我配置的问题。。。。。。实在搞不定了。。也使用过自动更改ip的软件来防止ip被封，但是还是没效果。。。。。。。。

  • 写回答

2条回答 默认 最新

  • WorldMobile 2015-01-12 00:29
    关注

    建议多进程，多台计算机跑，加快速度，也可能和你的单IP有关

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

  • nutch的实用配置及具体使用
    2014-12-07 15:41
    回答 1 已采纳 nutch这款软件确实好友许多不足之处需要跟进，持续时间能长点更好.
  • 无法使用php exec函数执行nutch crawl命令 php
    2019-04-12 12:47
    回答 1 已采纳 In order to run Nutch you need the JAVA_HOME environment variable set and pointing to the proper p
  • nutch TopN 50万 depth 10 获取到6万多数据
    2015-01-08 04:01
    回答 2 已采纳 网站发现你爬虫，ban了你的请求
  • 分享一个Nutch入门学习的资料
    2019-03-05 01:15
    7. **问题排查**：常见错误的解决方法，以及如何优化Nutch的性能。 通过学习这些知识点，初学者能够逐步掌握Nutch的基本操作，并具备构建和维护自己的Web爬虫系统的能力。同时，对于想深入了解搜索引擎原理或者...
  • Nutch项目编译找不到依赖包 java 搜索引擎
    2023-03-17 15:37
    回答 3 已采纳 谢谢各位，已经解决问题了
  • nutch 代理 本地ip与代理ip之间转换
    2015-01-10 16:04
    回答 1 已采纳 [http://fuliang.iteye.com/blog/148999]( "")
  • 请问为什么我用Nutch爬取不到百度百科和百度文库里面的内容？ 正则表达式 爬虫 百度
    2013-11-12 17:51
    回答 1 已采纳 nutch1.2在crawl-urlfilter.txt设置站点，1.2以上的版本要在regex-urlfilter.txt中配置。 具体是在accept hosts in MY.DOMAIN.NA
  • nutch爬虫资料
    2016-04-05 21:25
    了解Hadoop的MapReduce模型、HDFS文件系统以及YARN资源调度器，能帮助你更好地理解和优化Nutch的分布式爬取过程。 总之，这份“nutch爬虫资料”涵盖了从理论到实践的全面内容，无论你是初学者还是经验丰富的开发者...
  • 关于#solr#的问题：在将nutch爬到的数据提交给solr时发生了错误：java.io.IOException:Job failed apache java solr
    2023-03-22 09:16
    回答 1 已采纳 方法一： 重新安装Cygwin，换一个国外的映像，（163的映像是汉化版的） 方法二： Cygwin Shell里边直接set LANG=en_US是没作用的，好像cygwin shell不支持set
  • 有人研究nutch吗？
    2010-03-16 17:55
    回答 1 已采纳 如果用的是Eclipse的话 1 下载hadoop的源码，通常是一个压缩文件 *.zip 2 在Eclipse中，点击一个hadoop的类，因为你还没有导入，Eclipse会弹出一个框，你
  • 请问谁有nutch0.7的jar包
    2009-01-09 11:26
    回答 3 已采纳 http://www.uniontransit.com/apache/lucene/nutch/?C=N;O=D
  • Nutch:一个灵活可扩展的开源web搜索引擎
    2019-03-01 16:50
    同时，Nutch作为一个开放源代码的项目，允许开发者根据实际需求进行定制和扩展，例如集成其他数据源、优化爬取策略或改进搜索算法。 提供的压缩文件"CN-TR-04-04.pdf"可能包含了关于Nutch项目的详细技术文档或教程...
  • 电信设备-一种基于Nutch的Web信息提取方法和系统.zip
    2021-09-19 10:30
    在“一种基于Nutch的Web信息提取方法和系统.pdf”文件中，可能会详细阐述如何针对电信设备行业的特性定制Nutch的配置，优化爬取策略，以及如何构建适应该行业需求的后处理系统，如数据分析、信息过滤和知识库建设等...
  • Lucene+Nutch搜索引擎开发.王学松源代码
    2016-08-23 15:47
    总的来说，王学松的“Lucene+Nutch搜索引擎开发实例代码”是一份宝贵的教育资源，它可以帮助开发者快速入门搜索引擎开发，并深入了解这两个项目的内部工作机制。通过实践这些代码，不仅可以提升技术能力，还能为构建...
  • (完整word版)大数据技术文档.doc
    2022-11-15 03:22
    为解决这些问题，文档提出了一种基于Hadoop分布式开源框架的解决方案，结合Nutch和Solr的优势，构建一个高效、可扩展且安全的分布式搜索引擎。 【Hadoop分布式平台】 Hadoop是大数据处理的核心，其分布式文件系统...
  • lucene+nutch开发自己的搜索引擎一书源代码
    2009-03-03 10:31
    《lucene+nutch开发自己的搜索引擎一书源代码》是一份专为初学者设计的资源，旨在教授如何利用Apache Lucene和Nutch构建自定义搜索引擎。Lucene是Java编写的一个高性能全文检索库，而Nutch则是一个开源的网络爬虫...
  • Lucene+Nutch搜索引擎开发（配套光盘资源）
    2014-04-14 12:04
    《Lucene+Nutch搜索引擎开发》是一本专注于搜索引擎技术的书籍，配套光盘资源为学习者提供了丰富的实践材料，尤其对于想要深入理解Nutch搜索引擎开发的读者来说，这是一份不可多得的学习资料。Nutch是基于Apache ...
  • nutch开发资料 搜索引擎
    2009-03-24 13:54
    Nutch是Apache软件基金会的一个开源项目，主要用于构建网络搜索引擎。这个开发资料压缩包包含了与Nutch相关的源代码和可能的配置文件，可以帮助开发者深入了解和学习Nutch的工作原理以及如何进行定制化开发。以下是...
  • lucene+nutch搜索引擎开发源码2
    2009-04-05 13:01
    本资料主要探讨如何利用开源项目Lucene和Nutch构建一个完整的搜索引擎系统，这是一份关于“lucene+nutch搜索引擎开发源码”的第二部分。 Lucene是Apache软件基金会的一个高性能、全文本搜索库，它提供了基础的索引...
  • 利用Lucene与Nutch构建简单的全文搜索引擎
    2013-07-14 22:28
    weixin_34050389的博客 文章地址   1.简介   本次实现分为两个部分，第一个部分是利用Lucene构建一个全文的搜索引擎，另外一部分则是利用Nutch实现同样的功能。...而使用Nutch的时候只需要一些简单的配置和安装就可以直接运行...
  • 没有解决我的问题, 去提问

悬赏问题

  • ¥15 做个有关计算的小程序
  • ¥15 MPI读取tif文件无法正常给各进程分配路径
  • ¥15 如何用MATLAB实现以下三个公式（有相互嵌套）
  • ¥30 关于#算法#的问题：运用EViews第九版本进行一系列计量经济学的时间数列数据回归分析预测问题 求各位帮我解答一下
  • ¥15 setInterval 页面闪烁，怎么解决
  • ¥15 如何让企业微信机器人实现消息汇总整合
  • ¥50 关于#ui#的问题：做yolov8的ui界面出现的问题
  • ¥15 如何用Python爬取各高校教师公开的教育和工作经历
  • ¥15 TLE9879QXA40 电机驱动
  • ¥20 对于工程问题的非线性数学模型进行线性化