关于本地ip被封锁的时候使用代理ip的情况

本地ip被封的情况下使用需要验证的代理ip,要不就是无法连接到服务器,要不就是无法解析主机的uri,要不就是报需要验证,但是我用了webP.Credentials = new NetworkCredential("XX", "XXX");的啊,而且用户名和密码没有填反,也是正确的,这个是由于哈子原因嘞

代码:
ServicePointManager.Expect100Continue = false;
WebProxy webP = new WebProxy();
webP.Credentials = new NetworkCredential("XX", "XXX");//验证
webP.Address = new Uri("http://" + proxy);
request.UseDefaultCredentials = true;
request.Proxy = webP;

0

1个回答

你先用你的浏览器试试看。代理服务器不行可能是它不是匿名代理,也就是代理服务器以x-forward-for的形式向你的目的服务器报告了你的来源ip。还有代理服务器本身有问题,联不通,无法支持https等。

0
weixin_38424791
weixin_38424791 回复caozhy: 用来干嘛的呢》
一年多之前 回复
caozhy
weixin_45841714 回复weixin_38424791: 非常简单,中小学生都会用
一年多之前 回复
caozhy
weixin_45841714 回复weixin_38424791: google下
一年多之前 回复
weixin_38424791
weixin_38424791 回复caozhy: fiddler抓包?有实例嘛》》》
一年多之前 回复
caozhy
weixin_45841714 回复weixin_38424791: 这东西真的很简单,你用了就知道。小学生都会玩。现在一帮小学生用它做页游辅助。
一年多之前 回复
weixin_38424791
weixin_38424791 回复caozhy: 用不来。。。
一年多之前 回复
caozhy
weixin_45841714 回复weixin_38424791: 用fiddler抓包看下
一年多之前 回复
weixin_38424791
weixin_38424791 关键是ip是能够使用的啊,而且用户名和密码都是正确的啊
一年多之前 回复
weixin_38424791
weixin_38424791 本地ip在被封锁之前是能够抓取的,被封锁之后就使用代理ip。然后就
一年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
IP代理或日常使用过程中解决ip被封锁IP限制的几种方法
方法1 使用多IP: 1.IP必须需要,比如ADSL。如果有条件,其实可以跟机房多申请外网IP。 2.在有外网IP的机器上,部署代理服务器。 3.你的程序,使用轮训替换代理服务器来访问想要采集的网站。 好处: 1.程序逻辑变化小,只需要代理功能。 2.根据对方网站屏蔽规则不同,你只需要添加更多的代理就行了。 3.就算具体IP被屏蔽了,你可以直接把代理服务器下线就OK,程序逻辑不需要变化。 方法2....
【scrapy ip代理池】如何解决ip被限制的问题
1、首先写一个脚本proxies.py 自动获取代理ip# *-* coding:utf-8 *-* import requests from bs4 import BeautifulSoup import lxml from multiprocessing import Process, Queue import random import json import time import req
《五分钟速学技巧_利用ip代理绕过ip访问限制防爬策略》
批量获取代理IP详见上篇文章《分享项目_python爬取可用代理ip》,在大量爬取某个指定网站时,若该网站做了限制单位时间内同个ip的访问次数,则需要利用代理ip来帮助我们的爬虫项目完成请求。获取免费的代理IP很简单,百度免费代理IP即可,本文中在点击打开链接获取代理IP
网络爬虫笔记【3】 使用代理防止本机 IP 被封
使用代理是对抗反爬虫机制的常用做法。很多网站会检测某一段时间某个外来 IP 地址对服务器的访问次数等信息。如果访问次数或方式不符合安全策略,就会禁止该外来 IP 对服务器的访问。所以,爬虫设计者可以用一些代理服务器,使自己真实 IP 地址被隐藏,免于被禁止。 urllib 中使用 ProxyHandler 来设置代理服务器的使用 网络上通常有两类代理:免费代理、收费代理。免费代理可以通过百度/...
java借助代理ip,解决访问api频繁导致ip被禁的问题
之前做的一个项目需要频繁地访问豆瓣的api,但是豆瓣api对访问次数是有限制的,同一个ip访问过于频繁就会被禁一段时间。原本可以申请api-key来放宽限制,但貌似现在豆瓣已经不开放申请了。 不仅是豆瓣api,爬取网页时也会有ip被禁的情况。这时使用代理ip就可以解决这样的问题。 所谓代理ip,也就是让别的服务器代替你发送请求,然后再把结果返回给你。直接在百度上搜索免费代理ip,就能看到一堆网...
Java中使用代理IP获取网址内容(防IP被封,做数据爬虫)
推荐两个代理IP网站:   1. 全网代理IP:http://proxy.goubanjia.com/   2. 爱赚免费IP:http://ip.izmoney.com/   Java语言有两种方式使用代理IP访问网址并获取内容,   方式一,设置System系统属性   // 设置代理IP System.getProperties().setProperty("pro...
GOOGLE被封锁的技术分析【让Google和我们都死的瞑目】--转
这是一整套相当完善的技术。是一个讨论他的价值仅在于对其双向过滤技术的探讨。因此本文不讨论如何破网,只是对其进行探讨以及描述。我们先从几个试验开始:首先是用户,在不加载任何代理的情况下,搜索敏感关键字。结果可想而知。Google的搜索网页连显示都没有显示就直接跳掉了。用户不死心。加载一道国外普通代理如何?结果是刚显示一个Google的LOGO就读不下去了,也是跳掉了。这是为什么呢?第一个例子中,用户
Scrapy--设置代理ip
本次使用的代理Ip是蘑菇代理,数据库是redis1.settings配置"""REDIS 配置链接""" REDIS_URL = "redis://127.0.0.1:6379" RETRY_TIMES = 22.写入工具类import requests import json import time import redis from 项目名.settings import REDIS_URL...
[爬虫]解决ip被封锁的几种方法
本文转载自:http://www.cnblogs.com/JohnABC/p/5275109.html方法1.之前由于公司项目需要,采集过google地图数据,还有一些大型网站数据。经验如下: 1.IP必须需要,比如ADSL。如果有条件,其实可以跟机房多申请外网IP。 2.在有外网IP的机器上,部署代理服务器。 3.你的程序,使用轮训替换代理服务器来访问想要采集的网站。好处: 1.程序逻辑变
php利用curl爬虫爬取微信公众号,防止ip封锁
public function test1Action(){ //搜狗抓取微信公众号 $url="http://weixin.sogou.com/weixin?type=1&s_from=input&query=农产品&ie=utf8"; $ifpost = 0; $datafields = ''; $cookiefile = ''; $v = false; //构造随机ip $i
Python爬虫(一)之获取代理IP
设置代理IP的原因我们在使用Python爬虫爬取一个网站时,通常会频繁访问该网站。假如一个网站它会检测某一段时间某个IP的访问次数,如果访问次数过多,它会禁止你的访问。所以你可以设置一些代理服务器来帮助你做工作,每隔一段时间换一个代理,这样便不会出现因为频繁访问而导致禁止访问的现象。代码模块(一)获取代理IP列表这里以西刺代理IP为例(链接),免费和方便爬取以获取IP是它的优点。但是据说经常会出现无
采集爬虫中,解决网站限制IP的问题?
开发了一个爬虫,布置在自己的服务器上,请求某网站的查询功能,然后抓取查询结果,结果访问才一会儿,就被提示封IP了。整合了大家的解决方法!
java 获取经过代理之后的本机IP地址,亲测有效
java 获取经过代理之后的本机IP地址,亲测有效经过反复的在网上查找代码,发现网上说的那些代码都是无效的代码块代码块语法遵循标准markdown代码,例如: Enumeration allNetInterfaces = NetworkInterface.getNetworkInterfaces(); InetAddress ip = null; while (
python使用代理ip访问网站
# -*- coding: UTF-8 -*- from urllib import request if __name__ == "__main__": #访问网址 url = 'http://www.whatismyip.com.tw/' #这是代理IP ip = '27.155.101.233:3128' #设置代理ip访问方式,http和https
使用代理IP真的能隐藏自己的真实IP吗
代理IP的作用越来越大,有用来做爬虫的,有用来做批量注册的,还有用来投票的等等,还有很多用来隐藏自己真实的IP,做一些不可描述的事情,也有很多朋友问,使用代理IP真的能隐藏自己的真实IP吗? 我们知道,代理IP大致可以三种,透明IP,普通匿名IP,高级匿名IP。 (1) 透明代理 代理服务器将客户端的信息转发至目标访问对象,并没有完全隐藏客户端真实的身份。即服务器知道客户端使用了代理IP,并且知道...
requests使用代理ip的方法
import requests proxies = { "http" : "http://111.155.124.78:8123" # 代理ip } headers = { "User_Agent" : "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/22.0.1207.1 S
java 设置代理ip
java设置代理IP的两种方式。第一种简便快捷,第二种可以避免代理失效时使用本地连接访问网络。
在selenium中设置代理ip
phantomjs和firefox设置代理IP的几种方法
如何解除封锁网站随着全球VPN
如何解除封锁网站随着全球VPN   VPN或虚拟专用网络是一种服务,是一个已经获得了巨大的声望在世界各地的选项。 VPN服务提供商提供了一种替代为世界各地不同的公司办公室专用的个​​人网络连接。实际上,VPN是在具有公共访问Internet网络建立了一个专用网络。它采用了不同的安全手段和加密后的公共网络。这反过来又有助于维持组织的保密,并保持信息的私密性。这是原因的VPN也被称为互联网的VPN之一
这两周服务器被攻击,封锁了600多个IP地址段后今天服务器安静多了
这两周服务器被攻击,封锁了600多个IP地址段后今天服务器安静多了 建议大家在自己的服务器上也封杀这些瘪三的地址 iptables -I INPUT -s 123.44.55.0/24 -j DROP        iptables -I INPUT -s 58.217.166.0/24 -j DROP iptables -I INPUT -s 5.101.40.0/24 -j DRO
使用高匿代理访问西刺代理(假如ip被封可用高匿ip访问网站)
import requests url='http://www.xicidaili.com' #代理池 proxy = { 'http':'http://140.205.222.3:80' } headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, li...
调用成品api构建自己的代理IP池
# coding=utf-8 import tushare as ts import pandas as pd import requests import json import re import time def get_pro(): a=requests.get('http://lab.crossincode.com/proxy/get/?num=10') a.enc...
(python爬虫时)如何知道是否代理ip伪装成功
通过请求http://httpbin.org/get 获得类似以下信息: { "args": {}, "headers": { "Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8", "Accept-Encoding"...
测试IP和端口是否被封锁
操作 将自己IP和端口分别输入以下两个网站的测试栏中 国内测试 http://tool.chinaz.com/port 国外测试 https://www.yougetsignal.com/tools/open-ports/ 判断 如果国内的显示关闭,国外显示开启,那么就应该是IP被国内封锁了。 如果两个都关闭,建议更换IP或者找客服解决问题。 ...
使用代理ip防止爬虫被封ip(附蘑菇代理开发过程)
在我们使用爬虫的过程中,很容易遇到反爬机制是禁用ip的,可以使用代理ip解决ip被封的问题。但是网上ip代理有很多家,到底选哪家好呢?可以看看这篇文章:https://cuiqingcai.com/5094.html。 本文选择蘑菇代理(官网地址http://www.moguproxy.com)进行演示,使用php语言,如果需要大规模抓取可以去试试python。 可以看到官网提供两种方式进行代...
企业级分布式爬虫使用代理IP抓数据思路架构与实现_用百变IP抓数据
大家在使用分布式爬虫,或者叫多进程爬虫的时候,由于目标站的限制,可能会用到代理IP。要使用代理IP,首先要找一个稳定高匿的私密代理IP提供商,爬虫肯定得用私密代理,开放代理是不行的。百变IP—企业级稳定高匿代理IP  百变IP - 企业级稳定、高速、高匿代理IP、千万IP出口池,爬虫的不二之选。如何才能资源利用最优化、最合理的使用代理IP来抓数据,下面的文章可以提供一些思路,这也是百变IP官网建议...
Google学术被封锁的解禁方法!
最近Google被封不好用了,Google学术自然也不能用,很是悲催。下面这个方法可以让Google学术恢复正常!亲测有效! PS:这个方法只能恢复Google学术搜索,谷歌检索依旧不能正常使用! 1 打开 https://raw.githubusercontent.com/smarthosts/SmartHosts/master/trunk/hosts , 复制里面的内容。 2 记
关于爬虫IP代理以及日常维护
常我们要对某些网站或是app进行数据采集时,都需要解决采集软件爬虫和封IP的问题,采集软件暂且滤过,现整理汇总爬虫IP代理服务器资源,以此来应对封IP的问题,供各位参考。 首先,代理服务器有什么用? 通过在web浏览器(chrome, firefox, ie, opera, safari and others)中设置代理服务器,可以实现隐藏真实IP的目的。同时当IP被网站封禁时,通过在
关于代理ip检测
整理了一些方法,可以参考下。 1.retrying模块使用demo import requests from retrying import retry headers = {} @retry(stop_max_attempt_number=3) #最大重试3次,3次全部报错,才会报错 def parse_url(url) response = requests.get(url...
httpclient使用代理ip
在浏览一些网站的时候由于各种原因,无法进行访问。  频繁访问也可能 这时我们需要通过IE,FireFox进行Http的代理设置,  当然httpClient也为我们提供这样的设置
PHP代码如何实现获取真实IP和代理IP
代理服务器分为透明代理和匿名代理 透明代理会将客户端的请求IP包含在HTTP头中,具体就是$_SERVER['HTTP_X_FORWARDED_FOR']中匿名代理将客户端的IP隐藏起来,IP信息只能在$_SERVER['REMOTE_ADDR']找咯 以下是网上的资料: 一、没有使用代理服务器的情况: REMOTE_ADDR = 您的 IP HTTP_VIA = 没数值或不显示 HT
java 动态换ip限制 ip频繁限制
java 动态换ip限制 ip频繁限制
爬虫-使用代理ip,使用session
1、使用代理ip和普通requests.get请求抓取页面流程一样,只是多了个参数proxies. http://www.goubanjia.com/ 找代理IP,注意http,https,选与目标网址一样的协议。 proxies字典格式的 import requests url='https://www.baidu.com/s?wd=ip&ie=utf-8' proxies={ ...
python爬虫使用代理ip或请求头的问题
在request库中使用代理ip实例如下 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0', 'Connection': 'keep-alive', 'Cookie'...
爬虫使用代理防封IP:HTTP Error 403: Forbidden
在写爬虫爬取数据的时候,经常遇到如下的提示, HTTP Error 403: Forbidden 之前已经写了一个使用多个headers 的笔记,但是这种还是只有一个IP 只不过是伪装为不同的浏览器而已, 所以想做到更近一步防止被封,还是需要及时更换不同IP,下面记录一下python 使用代理爬取的过程。 PS: 爬虫尽量不要太频繁的说。。。 解决方法
Java中如何设置使用代理IP发送网络请求
Java中有两种方法可以实现用代理IP连接网络。 方式一,设置系统属性 // 设置代理IP System.getProperties().setProperty("proxySet", "true"); System.getProperties().setProperty("http.proxyHost", "218.26.204.66"); ...
python3(requests)使用代理ip
当需要采集大量数据时,或者有的网站对访问速度特别严格的时候,有的网站就采取封ip,这样就需要使用代理ip。就像马蜂窝一样,,自从被曝数据造假之后,就不好爬了,python使用代理ip的小demo为: import requests from bs4 import BeautifulSoup header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0;...
绕过代理服务器和绕过封锁的网站的简单方法
绕过代理服务器和绕过封锁的网站的简单方法   Intoduction关于如何绕过封锁的网站和规避互联网审查   封锁的网站是建立在用户端电脑或组织的Web代理各种保护应用程序的结果。在这种情况下,公司的或学校行政人员执行有关限制使用防火墙来过滤特定的网站,公司或学校认为不适合在其机构内部的访问。   防火墙和Web应用程序阻塞同样是这些国家如中国,伊朗伊斯兰共和国,东英吉利大学等,以滤除特定内容,
Java实现IP代理
Java实现IP代理 新建Maven项目:atm_csdn_blog 引入jsoup依赖 1、MyProxyIp实体类 引入依赖 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoc...
利用免费代理ip网站建立自己IP数据库
00.写在前面:   呃….前两天爬取NSIDC的数据的时候被封IP,导致我不能下载数据,科研止步不前,于是下定决心来建立一个自己的代理IP池。   欢迎大家指出问题,共同学习。我只是一个萌新。。。      所用到的工具: pycharm + python2.7.13 + BeautifulSoup + mysql + MySQLdb     OK,正式开始今天的工作。  01.从免
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 关于大数据培训 关于云计算