我想用c在linux上做一个爬虫,但是遇到有些网站不能用ip访问求一个解决方案

比如58同城,我ping出它的ip,然后用浏览器访问,结婚连接不上!求各位大神帮帮忙!

1个回答

用域名访问,在你的http请求中加上host字段,里面写域名

caozhy
贵阳老马马善福专门编写代码的老马就是我! 回复a540366413: 用fiddler看下,是dns lookup问题么
3 年多之前 回复
a540366413
a540366413 问题是,connect超时,不知道怎么回事
3 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
不能用外网ip访问网站
我是做网站的,运维这方面知道的很少。最近多次碰到一个奇怪的现象,在服务器上,可以直接访问外网,打开别的网站,就是打不开自己的。用内网ip就可以。同一个网络的其他电脑也是如此,用外网ip就不行,内网行。但可以用外网访问别的站点。rn然后反过来,我从外网去访问那台服务器,也可以。rn总的来说,服务器可以访问外网,外网也可以访问它。但它就是不能用外网访问自己。请教这是什么原因?有什么解决办法?
我做一个数据库的程序,但是我不想用dbnavigator.
于是我用button按钮,rn现在有一个问题请教。rn保存按钮想要和dbnavigator做的一样rnrn如何知道数据有改变了,使保按钮的enabled属性变成truernrn而没有变化的时候仍为false呢。rnrn谢谢了!rn
为什么不能用ip访问?
我安了iis,可以用http://localhost访问,但是用ip就不行,怎么回事?rn谢谢
不能用“运行--\\IP”访问
一台服务器windows server2003,别的电脑都能用“运行--\\IP”访问,但有一台(windowsXP)不能访问,出现提示是找不到这IP地址的路径,但别的电脑都能访问,还有这台电脑能ping通,能上网,能远程桌面,就是房屋不了“运行--\\IP”,是不是策略问题啊?
能用LINUX但是不能用WINDOWS系统??!!
我的台式机,硬盘上有两个系统 一个2000 一个LINUX 现在2000启动不了但是LINUX可以 。把我的硬盘rn挂在别的机子上两个系统都可以运行,有点郁闷 ??!!!
我想用动态IP做一个网站可以吗?(UP有分)
我现在申请了ADSL专线和域名,我想用动态IP做一个网站可以吗?有什么软件可以实现这一功能?大家给出出主意吧?rnrnrnrn(UP有分)rnrn117zy@sohu.com
怎么办,我多有些不想用ADO了
我打了ADO的补丁,一些莫名其妙的错误少了些,可在用ADOQuery的SQL语法rn执行insert和update时,到execsql()时,就出错了,不知怎么回事,rn 报错大致如下:rn ... Acess violation ... in modal msado15.dll ....rn
我多有些不想用ADO了
我打了ADO的补丁,一些莫名其妙的错误少了些,可在用ADOQuery的SQL语法rn执行insert和update时,到execsql()时,就出错了,不知怎么回事,rn 报错大致如下:rn ... Acess violation ... in modal msado15.dll ....rn
关于腾讯云服务器不能用公网ip访问的解决方案
笔者最近申请了了一个腾讯云服务器,因为有在校大学生的身份,可以参见  云+校园 的活动,每月一元即可。 亲自动起手来也算是比较坎坷了,因为笔者在这方面就是个小白啊。 具体搭建以及申请域名的过程以后再说,现在主要说下让我折腾了一个下午的问题,即在服务器不能被外网的计算机通过公网IP来访问。 笔者从昨天就开始学习wampserver,在第一次安装的时候不能启动,后来发现是端口冲突,解决之
阿里云服务器可通过ip访问但是不能通过ip访问问题的解决方案
一般是因为域名解析失败,主机记录设置成  * ,记录值改成服务器的IP地址。然后选中设置好的解析,选择启用。
为什么机器只能用IP访问,不能用机器名访问?
别人访问我的机器只能用IP访问,不能用机器名访问,请问是win2000的哪些设置有问题吗,或者少装了什么网络协议?请大家支招
只能用http://localhost 访问, 不能用http://IP访问?
只能用http://localhost和http://127.0.0.1访问, rn 不能用http://IP访问?
装lamp环境遇到不能用IP访问Apache
心血来潮装了一个lamp环境,但是刚装上Apache就遇到了同是属于局域网但是我用IP是没有办法访问Apache 2.4.9一般遇到这种情况我们应该是要一步一步排查,首先查看httpd.conf文件看看里面有没有拒绝使用IP访问。    AllowOverride All    Require all granted如果你的根目录下面的配置是这样的话就不是没有权限的问题了。接着我又怀疑是防火墙的问...
我上网的时候有些端口不能用?
我在网上下载东东的时候发现:只要是有指明端口地址的。我的机器一律连接不上(甚至是ftp的站点我也上不了),我公司上网用的VPN,有路由器和防火墙,我想知道是不是在防火墙上屏蔽了这些端口,只开放了一些常用的端口,比如80。请问是这么回事吗?
想用ruby和flex做一个网站
想用rails+flex做一个网站r r r 域名是: www.ggtime.comr r r 做什么类型的好呢? ggtime 这个名字有点尴尬感觉
部分端口不能用IP访问
一个很奇怪的问题,不知道什么时间,什么原因引起的。本机访问sharepoint 网站,除了管理中心能用IP访问以后,其他所有sharepoint 网站只能用机器名访问,用IP访问就会报错。管理中心也是带端口的,就不会出错。备用访问映射已经设置了,就是出错。求大神指点!rnBad Request - Invalid HostnamernrnHTTP Error 400. The request hostname is invalid.
为什么不能用“\\ip”访问一台机器?
我的机子(win2000)不能用“\\ip”访问局域网中的一台机器H(win xp系统),其他机器我都能访问,有些机器能访问H,有些不能。rn用"\\ip" 命令时显示"登录失败:用户帐户限制。"rn?????
阿里云服务器不能用ip地址访问
需要先进行安全组应用案例  安全组规则配置 入方向添加一个需访问端口的规则
不能用IP地址访问WebService的问题!
rn利用rnhttp://localhost/xxxx.asmx 可以访问WebServicernrn但是利用rnhttp://192.168.0.123/xxxx.asmx, 就抱错误“Gateway Timeout”rnrnrn是IIS配置的关系吗?
不能通过IP地址访问网站的解决方案
通过IP地址访问网站
我的机器不能把机器名解析成ip地址,上不了网,访问网上邻居只能用ip,不能用机器名
上网的时候说找不到dns,访问网上邻居的时候也不行。怎么回事?rn我的操作系统为win2000 server
网站能用域名访问,不能用ip地址访问,难道是主机头的问题??
一个服务器上,有两个主机头 www.a.com bbs.a.com 这样就不能用ip地址访问www.a.com 对吧?因为在没有bbs.a.com之前用ip地址是可以直接访问的!!
不能用我的C盘了
我能进入我的电脑中,但是一点c盘就说内存不够。rnrn这是怎么回事呀
我想用java写一个词典,遇到一些问题,寻求解决方案
各位大侠,小弟想编写一个词典,主要是英汉词典,主要的作用是能查单词,能翻译句子,对于查过的单词可以保存,我知道google翻译提供了接口,但是听说好像google要关闭接口,不知道各位大侠知不知道还有没有提供接口的在线翻译的词典。其次我要解决的问题是不连网也能查找单词,这需要一个词库,但是我不知道怎么才能解决这问题,不知道网上有没有提供相关的词库。还有就是我保存的单词是存放在文本文件里比较好还是放在数据库里比较好。不过,最主要的还是词库问题,希望各位大侠能帮帮忙!谢谢!
想用一个网站的JS但是被加密了,求大神帮忙
http://mo004_1164.mo4.line1.uemo.net 想扒这个站 但是里面有一个加密的JSrnhttp://mo004_1164.mo4.line1.uemo.net/templates/ue_content/templates/script/org.min.jsrn导致我一引用这个JS就打不开网页 一直在加载 不引用这个的话 就能正常加载 但是页面部分动画不正常 部分版式走形rn求大神给看看是哪里的问题 谢谢谢
为什么我的机器不能用ip访问别人了阿
我的机器不能用ip访问别人了,就是在运行里报找不到网络名这样一个错rn但是通过这个ip的机器的机器名我却可以访问,这是为什么阿???
请问怎么能知道在一个IP地址上有些什么网站
请问怎么能知道在一个IP地址上有些什么网站
移动硬盘有些机子能用,有些不能用,什么原因!
使用的是ibm的usb硬盘盒,硬盘40G。在98,2000,xp系统的有些机器上可以使用,有些不行。是不是跟主办的usb驱动有关?请有经验的大侠帮忙解释?谢谢!
我的网站不能用IP访问了,请大伙帮忙
现在发现了一个问题,我的网站只能用域名访问,不能用IP访问了(以前可以的),不知何故,请大伙帮忙分析一下是何原因。谢谢!
我想用Kylix3但是RH8上装不上,我该用哪个Linux能装上?
我现在有Kylix3,但是在RH8上装不上,rn我该用哪个Linux能装上?rn到哪里能下载?如rh7.X!
我想用JAVA做一个俄罗斯方块和一个文本编辑器
我想用JAVA做一个俄罗斯方块和一个文本编辑器rn请有经验的给个思路,需要那些API和哪方面的知识。rn我分不多,谢谢。
不能用域名访问VitraulHost,只能用IP
不能用域名访问VitraulHost,只能用IPrnrn怎么解决?不会是要我在hosts文件里自己添加映射吧!
TCP/IP不能用???
主机(两张网卡)上网,突然掉线后,拔号不上了,重启N次也不行,后来把主机拆下来,把协议全删了,重启再重装协议后,能上,关机再开之后,又不行了,如此反复,rn 结果,再一次把TCP/IP删了,重启后,终于蓝屏。rnrn 操作系统W2000PRO,ADSL RASPPPOE虚拟拔号,rnrn WHY?????
为什么我的ASP论坛只能用IP访问,而不能用域名访问?
rnrn我下载的是动网论坛 dvbbs 6.1测试版,已经试了Access数据库和SQL数据库版本,都不能用域名访问,提示下列错误:rn[color="ff0000"]Microsoft VBScript 运行时错误 错误 '800a0005' rnrn无效的过程调用或参数: 'Left' rnrn/dvbbs/inc/Dv_ClsMain.asp,行 90[/color]rn包括下载的ASP.net论坛程序也是只能通过IP地址访问,不能使用域名访问。rnrn高手救命!
我想用php+mysql设计一个 家谱树网站,遇到的难题
问题rn1:家谱数据表该如何设计,是家族成员user表(uid name sex fatherid)和relationship(uid motherid fatherid)关系表分开,还是合在一张表?rn2.怎样取出家谱表中的 uid对应的 父亲 母亲 兄弟 子女节点来??
用IP可以访问网站但不能用域名访问
本人用VB.Net+Sql2000做了一个Web程序(程序和数据库都在同一台机器上),把它放到IIS上以后发现了一个奇怪问题:如果用IP地址去访问,那么一切都是正常的;如果用域名去访问,电脑就会死机.检查进程后发现aspnet_wp把cpu时间都占用了.域名解析是由sohu做的;为了保险起见用世纪互联解析的域名也做了测试,情况都一样,说明不是DNS的问题.请教各位高手这是怎么回事?如何解决?谢谢rn
我的Red hat 7.0上网怎么只能用ip访问,不能用域名访问?
我用kppp连接,在设置DNS Servers里面的Domain server已经把isp给的DNS的ip地址输入进去了,不知道为何?rnrn本人乃一菜鸟,请大虾们多多指教
爬虫遇到路径转换的解决方案
String href = n.attr("abs:href");//jsoup自带的路径转换方法,有的时候行不通 if("".equals(href)) { href = n.attr("href"); if (href.indexOf("http") < 0) { href = getAbsoluteURL(url, href); ...
为什么有些ip访问不了
[color=#FF0000][/color][size=13px][/size]我现在在维护一个项目(通过远程控制),主服务器的ip是200.1.1.*,还有一些其他的ip,也是200.1.1.*,我查了下,这些ip不是局域网的ip网段啊,而且还是国外的ip,这是怎么回事呢,广域网ip不都是唯一的吗?rn 而且这些ip只有我们公司的几台电脑能访问,这几台电脑ip也是200.1.1.*,别的机器都访问不了,ping都ping不同的,这是在哪里设置的呢,是怎么设置的呢?
急求weblogic限制IP访问的解决方案
环境:WebLogic8.1rn操作系统:Win2K Serverrn现在要求限制IP的访问,比如:192.168.20.*~~~192.168.30.*范围的IP可以访问,请问如何设置?rn我试了一下,rn rn将其中的 ip="any" 改为 ip="192.168.20.22",这样不行,提示IP地址错误,可能是因为后面有加密的字符串引起的。rn
相关热词 c# stream 复制 android c# c#监测窗口句柄 c# md5 引用 c# 判断tabtip 自己写个浏览器程序c# c# 字符串变成整数数组 c#语言编程写出一个方法 c# 转盘抽奖 c#选中treeview