529656407 2015-01-08 04:01 采纳率: 80%
浏览 1786
已采纳

nutch TopN 50万 depth 10 获取到6万多数据

我用nutch1.9搜索阿里巴巴的网站，使用的是bin/crawl 脚本执行的，topN设置的50万，爬行深度设置的10，url过滤只允许阿里巴巴的网站，但是实际搜出来的结果却只有6万多，又人知道大概是什么原因吗困扰了好几天了。。。。。求教

  • 写回答

2条回答 默认 最新

  • oyljerry 2015-01-08 14:51
    关注

    网站发现你爬虫，ban了你的请求

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题？

悬赏问题

  • ¥60 版本过低apk如何修改可以兼容新的安卓系统
  • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
  • ¥50 有数据，怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据，怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题
  • ¥15 C#算法问题, 不知道怎么处理这个数据的转换
  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题！
  • ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像，如何解决？