为啥使用百度查看代理后的IP查看不了

Question

这个IP明明可以用啊，为啥我就是打开不了百度查看此时的IP地址呢？

Answer 1

引自免费微信小程序：皆我百晓生

看起来你在使用Scrapy框架编写一个简单的爬虫程序，目的是获取百度搜索结果页面上的IP地址。然而，在使用代理时遇到了问题。根据提供的代码片段和日志信息，这里有几个可能的问题以及相应的解决建议。

首先，检查一下中间件类（MiddleproDownLoaderMiddleware）中的代理设置。在 process_request 方法里，你将代理添加到了请求中，但没有正确地处理可能存在的编码问题。在写入文件时，你使用的编码是 'utf-8'，但在设置请求头时，字符串字面量的引号可能是错误的。尝试修改为正确的单引号和双引号，并确保其他字符串也遵循一致的格式。

修改后的 MiddleproDownLoaderMiddleware 类应该如下所示：

class MiddleproDownLoaderMiddleware(object):
    def __init__(self, user_agent_list, PROXY_http, PROXY_https):
        self.user_agent_list = user_agent_list
        self.PROXY_http = PROXY_http
        self.PROXY_https = PROXY_https

    def process_request(self, request, spider):
        request.headers['User-Agent'] = random.choice(self.user_agent_list)
        # 使用正确的引号
        request.meta['proxy'] = 'http://' + random.choice(self.PROXY_http)

    def process_response(self, request, response, spider):
        return response

    def process_exception(self, request, exception, spider):
        if request.url.split(':')[0] == 'http':
            request.meta['proxy'] = 'http://' + random.choice(self.PROXY_http)
        else:
            request.meta['proxy'] = 'https://' + random.choice(self.PROXY_https)

接下来，你需要确认你的代理列表 (PROXY_http 和 PROXY_https) 是否包含有效的代理服务器地址。可以使用在线工具来测试这些代理是否有效。

然后，检查你的Scrapy项目的配置文件（settings.py），确保启用了中间件：

DOWNLOADER_MIDDLEWARES = {
    'middlePro.middlewares.MiddleproDownloaderMiddleware': 543,
}

如果你使用的是Scrapy 2.x版本，中间件配置可能会有所不同：

DOWNLOADER_MIDDLEWARES = {
    'middlePro.middlewares.MiddleproDownloaderMiddleware': None,
}

运行爬虫并观察输出的日志，看是否有任何与代理相关的错误或警告。如果一切正常，你应该能看到带有代理的请求被发送到百度。但是要注意，许多网站包括百度可能会检测并阻止来自代理的访问，特别是频繁的爬取行为。因此，即使代理本身可用，也可能因为反爬策略而无法正常显示IP地址。

若仍然遇到问题，可以尝试更换不同的代理服务器，或者调整爬取频率以降低被封锁的风险。另外，注意遵守目标网站的Robots协议，尊重其使用规定。