求一份配置完整简单优化过的nutch。自己弄了一个多月了,但是还是爬取不到太多数据,
爬了10多个小时,却只有5万多条数据,所以想找各位大神要一份配置好的可行的nutch(我暂时还没有配hadoop集群,想单机跑),
我试试,看看是不是我配置的问题。。。。。。实在搞不定了。。也使用过自动更改ip的软件来防止ip被封,但是还是没效果。。。。。。。。
求一份配置完整简单优化过的nutch
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
2条回答 默认 最新
- WorldMobile 2015-01-12 00:29关注
建议多进程,多台计算机跑,加快速度,也可能和你的单IP有关
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 seatunnel-web使用SQL组件时候后台报错,无法找到表格
- ¥15 fpga自动售货机数码管(相关搜索:数字时钟)
- ¥15 用前端向数据库插入数据,通过debug发现数据能走到后端,但是放行之后就会提示错误
- ¥30 3天&7天&&15天&销量如何统计同一行
- ¥30 帮我写一段可以读取LD2450数据并计算距离的Arduino代码
- ¥15 飞机曲面部件如机翼,壁板等具体的孔位模型
- ¥15 vs2019中数据导出问题
- ¥20 云服务Linux系统TCP-MSS值修改?
- ¥20 关于#单片机#的问题:项目:使用模拟iic与ov2640通讯环境:F407问题:读取的ID号总是0xff,自己调了调发现在读从机数据时,SDA线上并未有信号变化(语言-c语言)
- ¥20 怎么在stm32门禁成品上增加查询记录功能