2 ouerhuilaikankan OuErHuiLaiKanKan 于 2016.04.21 17:36 提问

WebClient抓不到网页内容
    static void Main(string[] args)
    {
        WebClient MyWebClient = new WebClient();

        MyWebClient.Credentials = CredentialCache.DefaultCredentials;//获取或设置用于向Internet资源的请求进行身份验证的网络凭据

        Byte[] pageData = MyWebClient.DownloadData("http://detail.zol.com.cn/index.php?c=SearchList&keyword=联想"); //从指定网站下载数据

        string pageHtml = Encoding.Default.GetString(pageData);  //如果获取网站页面采用的是GB2312,则使用这句            

        //string pageHtml = Encoding.UTF8.GetString(pageData); //如果获取网站页面采用的是UTF-8,则使用这句

        Console.WriteLine(pageHtml);//在控制台输入获取的内容

        Console.Read();
    }

3个回答

OuErHuiLaiKanKan
OuErHuiLaiKanKan   2016.04.22 09:49
已采纳

添加完cookie就可以了
MyWebClient.Headers.Add("Cookie", "Cookie内容");

caozhy
caozhy   Ds   Rxr 2016.04.21 21:59

用fiddler调试下,抓取不到的可能性包括这个网页需要登录、拥有跳转、其中的数据是ajax异步加载而不是直接返回的,等等。

CSDNXIAOD
CSDNXIAOD   2016.04.21 21:42

Python抓网页内容
----------------------biu~biu~biu~~~在下问答机器人小D,这是我依靠自己的聪明才智给出的答案,如果不正确,你来咬我啊!

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
网页数据抓取工具,ajax异步数据获取,模拟访问网页提取内容
用C#开发,需要.net2.0环境运行; 支持与sql server匹配抓取; 支持结果保存到txt,sql; 如果你会javascript可自己编辑提取内容,不会可与我联系帮你写分析数据提取脚本.
利用WebClient进行数据抓取
//2011-08-15 gb2312方式获取网页源码 public string getGB2312HTML(string url) { string str; using (System.Net.
curl设置不当导致php抓取网页失败
php抓取网页,可谓轻而易举,几行代码就可以搞定。不过,如果你有所疏忽,程序写得不够严密,就会出现有的网页抓取成功有的网页却抓不了的问题。 先来看看php抓取代码的一个方法: $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, ‘http://www.webkaka.com/’); $data = curl_exec
.net 文件下载上传、网页抓取 用WebClient实现
<br />.net 文件下载上传、网页抓取 用WebClient实现<br />我们知道用 WebRequest(HttpWebRequest、FtpWebRequest) 和 WebResponse(HttpWebResponse、FtpWebResponse)可以实现文件下载上传、网页抓取,可是用 WebClient 更轻松。<br /> //用 DownloadFile 下载网页 //就这样,http://www.cftea.com/ 首页就被保存到 C 盘下了。
用python写了一个简单的模拟浏览器抓取网页的库webclient
对http协议过程中发送的http header和服务器返回的 http response info, 均可以print 调试(实际上我改为了 logging记录) 主要的特点: print http request headers # 打印 http 请求头信息 print http request cookies # 打印 http 请求的时候发送的cookie信息 print htt
delphi 抓取网页内容的程序
抓取网页内容,通常大家以为到网上偷数据,然后把到收集到的数据挂到自己网上去。其实也可以将采集到的数据做为公司的参考,或把收集的数据跟自己公司的业务做对比等。目前网页采集多为3P代码为多(3P即ASP、PHP、JSP)。用得最有代表的就动易科技公司BBS中新闻采集系统,和网上流传的新浪新闻采集系统等都是用ASP程序来使用,但速度从理论上来说不是很好。如果尝试用其它软件的多线程采集是不是更
csharp仿爬虫抓取网页内容
csharp仿爬虫抓取网页内容,本项目以抓取招聘网站公司内容为例,里面的去内容的正则表达式需要定期更新,否则抓不到;里面还有每天检测是否能抓到,抓不到则说明网站有更新,需要修改
C++网页抓取
#include #include #include #include #include #pragma comment(lib,"WinInet.lib") using namespace std; int main() { HINTERNET hINet, hHttpFile;                char szSizeBuffer[32];
wireshark抓不到数据包的解决方法 TOE技术
wireshark 抓不到数据包的解决方法-TOE技术以及TOE网卡的工作原理.wireshark 抓不到 数据包 TOE技术 抓不到包
C# 读取网页源码的三种办法WebClient、WebRequest、HttpWebRequest
直接看这三种办法的源码吧,using System;using System.IO;using System.Net;namespace ReadHtml{class ReadHtml{static void Main(){System.Console.WriteLine("准备