529656407 2015-01-10 16:04 采纳率: 80%
浏览 2150
已采纳

nutch 代理 本地ip与代理ip之间转换

我用的是Nutch1.9版本的，在爬去网站过程中好像因为同一ip访问频繁然后ip被封了，正在尝试用代理，但是如果代理ip被封了的话，nutch会使用本机的ip继续进行爬去吗？然后等本机ip被封的时候又转代理ip进行爬去？这样循环转换。。。。。

  • 写回答

1条回答 默认 最新

  • shiter 领域专家: 人工智能技术领域 2015-01-17 05:34
    关注

    http://fuliang.iteye.com/blog/148999

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题？

  • 基于Nutch的CSDN技术数据爬取与分析实战
    2025-11-16 17:32
    就念的博客 标准Nutch只能拿到初始HTML，正文为空。我们要做的，是在抓取阶段就拦截请求，自动调用API补全内容。新建一个@Overrideif (!try {// 从原HTML取标题// 提取新链接逻辑很简单：识别出文章ID → 拼接API地址 → 获取...
  • Web 代理、爬行器和爬虫
    2024-11-27 00:17
    2023计算机网络技术2班陈思羽的博客 Web 在线网页代理服务器就像是网络穿越仪一般，它是一种具有转发功能的应用程序，能够帮助用户在特定网络环境下访问被封锁的网页。用户在某些网络环境中可能无法直接访问特定的网页资源，而通过 Web 在线网页代理...
  • 搭建爬虫框架nutch2.4的简单说明
    2024-05-06 10:43
    炒面_大叔的博客 1、VM新建虚拟机，加载CentOS7镜像2、虚拟机网络设置（1）虚拟机网卡使用NAT模式（2）CentOS7配置静态IP##编辑网卡配置文件##修改以下两个配置参数值ONBOOT=yes##追加如下内容（3）重启网络服务。
  • java heritrix_Heritrix 和 Nutch 比较与分析(java开源网络爬虫)
    2021-03-06 20:53
    徐晨松的博客 Servercache（处理器缓存）： 存放服务器的持久信息，能够被爬行部件随时查到，包括IP地址，历史记录，机器人策略。 处理器链： 预取链： 主要是做一些准备工作，例如，对处理进行延迟和重新处理，否决随后的操作。...
  • Heritrix 和 Nutch 比较与分析(java开源网络爬虫)
    2011-11-15 11:01
    ljl_xyf的博客 存放服务器的持久信息，能够被爬行部件随时查到，包括IP地址，历史记录，机器人策略。 处理器链： 预取链： 主要是做一些准备工作，例如，对处理进行延迟和重新处理，否决随后的操作。 提取链： 主要是...
  • Nutch爬虫环境搭建
    2019-09-11 19:27
    choupan5476的博客 1 前言 1 2 环境介绍 2 3 准备工作 3 4 Solr安装 8 5 Hbase安装 14 6 Hadoop安装 17 7 Nutch安装 19 8 Solr使用 19 9 Nutch使用 19 1前言 1.1目的和范围 通过该环境框架的建置，使公...
  • 网络爬虫-Heritrix 和 Nutch 比较与分析
    2014-07-09 15:15
    white__cat的博客 Servercache（处理器缓存）：存放服务器的持久信息，能够被爬行部件随时查到，包括IP地址，历史记录，机器人策略。  处理器链：  预取链：主要是做一些准备工作，例如，对处理进行延迟和重新处理，否决随后...
  • Nutch和Heritrix的区别汇总
    2014-08-17 19:48
    FlyShuang1314的博客 一、框架介绍   公司最近项目要用到全文检索...二者均为Java开源框架，Heritrix 是 SourceForge上的开源产品，Nutch为Apache的一个子项目，它们都称作网络爬虫/蜘蛛（ Web Crawler），它们实现的原理基本一致
  • Python自动化爬虫实战与高级架构技巧
    2021-06-22 03:19
    另外，使用云服务如AWS或GCP进行动态IP代理和存储管理，能帮助应对反爬策略。 总的来说，这个主题涵盖了Python爬虫的各个方面，从基础到高级，从实战到理论，旨在提升开发者的技能，使他们能够应对复杂的数据抓取...
  • 全面掌握Nutch网络爬虫的构建与应用
    2025-07-27 15:31
    国营窝窝乡蛮大人的博客 Nutch是一个开源的网络爬虫工具，它能够帮助开发者收集网络上的数据信息。它被设计得易于使用，功能强大，支持高扩展性，使其在处理大数据集时表现优异。Nutch不仅仅是一个爬虫，更是一个成熟的搜索引擎。Nutch的源...
  • 云计算与大数据概论
    2021-07-18 12:11
    像向日葵一样~的博客 云计算与大数据概述 云计算的概念 云计算（Cloud Computing）由分布式计算（Distributed Computing）、并行处理（Parallel Computing）和网格计算（Grid Computing）发展而来。 狭义 厂商通过分布式计算和虚拟化...
  • Nutch源码阅读进程2---Generate
    2019-09-24 22:53
    baixieyun4655的博客 继之前仓促走完nutch的第一个流程Inject后，再次起航，Debug模式走起，进入第二个预热阶段Generate~~~ 上期回顾：Inject主要是将爬取列表中的url转换为指定格式<Text，CrawlDatum>存在CrawlDb中，主要做了...
  • nutch generator 详解
    2012-07-16 15:31
    chengqianl的博客 3 如果已经有fetch value的meta 会被写入Nutch.WRITABLE_GENERATE_TIME_KEY 的key 值为上次这个map的时间，这个上次写入时间与当前时间的差值和间隔时间配置crawl.gen.delay的值比较，如果大于这个时间，才能fetch ...
  • nutch fetcher详解
    2012-07-16 18:04
    chengqianl的博客 3 如果还有数据就不断的读取数据放到FetchItemQueues 里面去，容器中的队列是按ip或者域名分组，是由fetcher.threads.per.host.by.ip 这个属性决定的 FetcherThread也是一个线程类 [img]...
  • apache-hadoop-1.2.1、hbase、hive、mahout、nutch、solr安装教程
    2013-11-17 23:08
    luckymelina的博客 通过ssh安全协议master与slaves之间进行通信，实现hadoop完全分布式部署。 3.2.1 ifconfig 查看主机ip： 这里： master：10.10.20.103 slave01：10.10.20.101 3.2.2在hosts文件中加上集群中所有...
  • 没有解决我的问题, 去提问