HttpWebRequest用GET方式请求数据时,总是提示无权访问该页面

写了一个客户端软件向某个网站页面发起查询请求并获取返回的JSON数据,函数代码如下:

public string doGetRequest(string cookie, string url)
        {
            Uri uri = new Uri(url);
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
            request.Method = "GET";
            request.AllowAutoRedirect = false;
            request.Accept = "application/json";
            request.ContentType = "application/x-www-form-urlencoded";
            request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.221 Safari/537.36 SE 2.X MetaSr 1.0";
            if (cookie.Length > 0)
            {
                request.Headers.Add("Cookie", cookie);
            }
            HttpWebResponse response;
            try
            {
                response = (HttpWebResponse)request.GetResponse();
            }
            catch (WebException ex)
            {
                response = (HttpWebResponse)ex.Response;
                StreamReader sr = new StreamReader(response.GetResponseStream());
                MessageBox.Show(sr.ReadToEnd());
            }
            if (response.StatusCode != HttpStatusCode.OK)
            {
                MessageBox.Show("服务器返回请求错误!");
                return "";
            }
            string encoding = response.ContentEncoding;
            if (encoding == null || encoding.Length < 1)
            {
                encoding = "UTF-8"; //默认编码
            }
            StreamReader reader = new StreamReader(response.GetResponseStream(), Encoding.GetEncoding(encoding));
            string result = reader.ReadToEnd();
            //释放资源
            response.Close();
            reader.Close();
            return result;
        }

调用该函数时传入事先获取的cookie和请求url,url的值如下(网站域名用*省略):
http://*********/tcatsds/tcaTsdApprover/searchAllTcatsd?APPLYNO=P20190098290

可是程序总是报错,说GetResponse返回502错误,查看返回的详细信息如下:
图片说明

从返回的详细信息上看是无权访问该页面,但是我如果在浏览器中直接输入该url,是能看到返回的JSON数据的,实在想不通为什么,哪位大神能指导一下该怎么办?

c#

2个回答

和fiddler或者浏览器抓包的数据精确对比,特别是你的cookie,你说是“事先获取”,这个就不对,你看下你浏览器访问这个网站,把浏览器关掉再开,这个cookie会变化么?

如果会变化,说明你必须通过访问网站返回的set-cookie设置你的cookie,而不能固定不变。特别需要登录的网站。

hanjiangying
hanjiangying 回复caozhy: 嗯,已经搞定了,虽然跟cookie无关,但是还是感谢你的提醒
10 个月之前 回复
caozhy
贵阳老马马善福专业维修游泳池堵漏防水工程 回复hanjiangying: 那你现在既然"成功"了,还有什么问题呢。解决的问题是对症下药,而不是制造新的问题去解决旧的问题。不懂你可以学。
10 个月之前 回复
hanjiangying
hanjiangying 回复caozhy: 因为用HttpWebRequest登陆失败了,不得已用WebBrowser
10 个月之前 回复
caozhy
贵阳老马马善福专业维修游泳池堵漏防水工程 为什么要WebBrowser
10 个月之前 回复
hanjiangying
hanjiangying 程序启动后首先在WebBrowser控件上显示登陆页面,输入用户名密码登录,登录成功则获取cookie并作为全局变量保存,然后再拿这个cookie设置到HttpWebRequest里去发起请求,cookie的使用是没问题的,我试过用这个cookie去访问系统的其他页面都正常
10 个月之前 回复
hanjiangying
hanjiangying 说明一下cookie的处理过程:
10 个月之前 回复

搞明白了,问题不是出在Cookie上,是因为服务器返回的Encoding为gzip,而我的请求Header中没有设置这个Accept-Encoding为gzip,导致无法获取数据。

caozhy 提到的Cookie也是一种可能,不过对于我这个案例不是,但是你提到用fiddler抓包分析还是很有用的,写这类软件的时候还是得多用用这个工具才能搞清楚问题出在哪儿

使用HttpWebRequest重点要关注以下几个标头字段,供其它人参考:
Method
Accept
Accept-Encoding
UserAgent
Cookie
如果确认这几个字段设置没问题,那么就借助于fiddler软件去抓包分析吧,跟浏览器访问时的数据包对比,总能找出原因来

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
C# HttpWebRequest delete请求
-
c#使用 HttpWebRequest 向服务器post请求,接收返回数据不完整
-
C# HttpWebRequest发送GET请求的问题
-
怎么用HttpWebRequest请求 参数是文件btye[]类型
-
C# HttpWebRequest请求https时GetRequestStream超时
-
C#连续三次get请求到百度首页,第三次时会提示请求超时,请问怎么解决?
-
一次HttpWebRequest模拟请求,触发BeginRequest事件两次
-
通过HttpWebRequest向服务器Post数据的问题
-
请求参数中有btye[]的文件 怎么用HttpWebRequest去请求
-
httpwebrequest网页抓取数据乱码
-
HttpWebRequest能模拟XMLHttpRequest的post请求吗?
-
C# HttpWebRequest ,Post请求,有个cookie里面带了逗号
-
c# httpWebRequest post提交数据
-
(HttpWebRequest)WebRequest.Create(url),url带中文参数编码之后请求不到数据
-
浏览器中查看源代码从看到的html元素,用HttpWebRequest之类的代码web请求却没有
-
C#HttpWebRequest 模拟请求一个URL和在网站上直接输入这个URL返回的页面不一样
-
HttpWebRequest访问https网站出错
-
HttpWebRequest向https网址post的时候总是无法连接到远程服务器,怎么办啊
-
vb.net get 数据问题
-
程序员实用工具网站
目录 1、搜索引擎 2、PPT 3、图片操作 4、文件共享 5、应届生招聘 6、程序员面试题库 7、办公、开发软件 8、高清图片、视频素材网站 9、项目开源 10、在线工具宝典大全 程序员开发需要具备良好的信息检索能力,为了备忘(收藏夹真是满了),将开发过程中常用的网站进行整理。 1、搜索引擎 1.1、秘迹搜索 一款无敌有良心、无敌安全的搜索引擎,不会收集私人信息,保...
程序员真是太太太太太有趣了!!!
网络上虽然已经有了很多关于程序员的话题,但大部分人对这个群体还是很陌生。我们在谈论程序员的时候,究竟该聊些什么呢?各位程序员大佬们,请让我听到你们的声音!不管你是前端开发...
史上最详细的IDEA优雅整合Maven+SSM框架(详细思路+附带源码)
网上很多整合SSM博客文章并不能让初探ssm的同学思路完全的清晰,可以试着关掉整合教程,摇两下头骨,哈一大口气,就在万事具备的时候,开整,这个时候你可能思路全无 ~中招了咩~ ,还有一些同学依旧在使用eclipse或者Myeclipse开发,我想对这些朋友说IDEA 的编译速度很快,人生苦短,来不及解释了,直接上手idea吧。这篇文章每一步搭建过程都测试过了,应该不会有什么差错。本文章还有个比较优秀的特点,就是idea的使用,基本上关于idea的操作都算是比较详细的,所以不用太担心不会撸idea!最后,本文
1行Python代码制作动态二维码
目录 1、普通二维码 2、艺术二维码 3、动态二维码 在GitHub上发现了一个比较有意思的项目,只需要一行Python代码就可以快捷方便生成普通二维码、艺术二维码(黑白/彩色)和动态GIF二维码。 GitHub网站参见:https://github.com/sylnsfar/qrcode 用法比较简单,直接通过pip安装即可。 pip3 install myqr 安装过程如下所...
全球最厉害的 14 位程序员!
来源 | ITWorld 整理自网络全球最厉害的 14 位程序员是谁?今天就让我们一起来了解一下吧,排名不分先后。01. Jon Skeet个人名望:程序技术问答网站 S...
二十出头,老气横秋
有的时候,我们希望年轻人成熟一点,不要巨婴,不要总是等着别人来解救,要自立,要有担当。但有时候吧,发现有些年轻人,似乎过于成熟了,二十来岁的人,感觉怎么就老气横秋的。1、...
我花了一夜用数据结构给女朋友写个H5走迷宫游戏
起因 又到深夜了,我按照以往在csdn和公众号写着数据结构!这占用了我大量的时间!我的超越妹妹严重缺乏陪伴而 怨气满满! 而女朋友时常埋怨,认为数据结构这么抽象难懂的东西没啥作用,常会问道:天天写这玩意,有啥作用。而我答道:能干事情多了,比如写个迷宫小游戏啥的! 当我码完字准备睡觉时:写不好别睡觉! 分析 如果用数据结构与算法造出东西来呢? ...
浅谈滴滴派单算法
本文作者:王犇 滴滴 | 首席算法工程师 导读:说到滴滴的派单算法,大家可能感觉到既神秘又好奇,从出租车扬召到司机在滴滴平台抢单最后到平台派单,大家今天的出行体验已经发生了翻天覆地的变化,面对着每天数千万的呼叫,滴滴的派单算法一直在持续努力让更多人打到车,本篇文章会着重介绍我们是如何分析和建模这个问题,并且这其中面临了怎样的算法挑战,以及介绍一些我们常用的派单算法,这些算法能够让我们不断的提升...
接班马云的为何是张勇?
上海人、职业经理人、CFO 背景,集齐马云三大不喜欢的张勇怎么就成了阿里接班人? 作者|王琳 本文经授权转载自燃财经(ID:rancaijing) 9月10日,张勇转正了,他由阿里巴巴董事局候任主席正式成为阿里巴巴董事局主席,这也意味着阿里巴巴将正式开启“逍遥子时代”。 从2015年接任CEO开始,张勇已经将阿里巴巴股价拉升了超过200%。但和马云强大的个人光环比,张勇显得尤其...
什么是大公司病(太形象了)
点击蓝色“五分钟学算法”关注我哟加个“星标”,天天中午 12:15,一起学算法作者 | 南之鱼来源 | 芝麻观点(chinamkt)所谓大企业病,一般都具有机构臃肿、多重...
代码整洁 vs 代码肮脏
写出整洁的代码,是每个程序员的追求。《clean code》指出,要想写出好的代码,首先得知道什么是肮脏代码、什么是整洁代码;然后通过大量的刻意练习,才能真正写出整洁的代码。 WTF/min是衡量代码质量的唯一标准,Uncle Bob在书中称糟糕的代码为沼泽(wading),这只突出了我们是糟糕代码的受害者。国内有一个更适合的词汇:屎山,虽然不是很文雅但是更加客观,程序员既是受害者也是加害者。 对...
让程序员崩溃的瞬间(非程序员勿入)
今天给大家带来点快乐,程序员才能看懂。 来源:https://zhuanlan.zhihu.com/p/47066521 1. 公司实习生找 Bug 2.在调试时,将断点设置在错误的位置 3.当我有一个很棒的调试想法时 4.偶然间看到自己多年前写的代码 5.当我第一次启动我的单元测试时 ...
Github上评分最高的5个项目,带你紧跟潮流
全文共1665字,预计学习时长3分钟 图片来源: Morgan Harper Nichols/Unsplash 毫无疑问,紧跟机器学习世界中所发生的一切是不可能的,然而,Guithub对每个项目都有星级评分。给一个知识库打上星号就等同于欣赏并追踪感兴趣的知识库。 Guithub的博客 这个星级评分是衡量项目关注度的一项标准,本文列举了排名前五的项目。 1. face-recogn...
TED | 怎样戒掉坏习惯,变得更自律?
视频地址:https://www.bilibili.com/video/av66581236 总结一: 自律跟多巴胺神经传递有关,而多巴胺释放更多的是期望而不是奖励。多巴胺在期望中才会增加,这也是多巴胺让我们对一个目标采取行动的原因。 (多巴胺在驱使我们行动上发挥作用) 边缘靶:及时行乐 前皮质靶:延迟行乐 如果大脑跟延迟满足相关的部位(前皮质靶)更多的刺激,那么你就更容易延迟满足。 什么导致大脑...
如何在Windows中开启"上帝模式"
原文链接 : https://mp.weixin.qq.com/s?__biz=MzIwMjE1MjMyMw==&amp;mid=2650202982&amp;idx=1&amp;sn=2c6c609ce06db1cee81abf2ba797be1b&amp;chksm=8ee1438ab996ca9c2d0cd0f76426e92faa835beef20ae21b537c0867ec2773be...
分享靠写代码赚钱的一些门路
作者 mezod,译者 josephchang10如今,通过自己的代码去赚钱变得越来越简单,不过对很多人来说依然还是很难,因为他们不知道有哪些门路。今天给大家分享一个精彩...
技术人员要拿百万年薪,必须要经历这9个段位
很多人都问,技术人员如何成长,每个阶段又是怎样的,如何才能走出当前的迷茫,实现自我的突破。所以我结合我自己10多年的从业经验,总结了技术人员成长的9个段位,希望对大家的职...
8000字干货:那些很厉害的人是怎么构建知识体系的
本文约8000字,正常阅读需要15~20分钟。读完本文可以获得如下收益: 分辨知识和知识体系的差别 理解如何用八大问发现知识的连接点; 掌握致用类知识体系的构建方法; 能够应用甜蜜区模型找到特定领域来构建知识体系。 1. 知识体系?有必要吗? 小张准备通过跑步锻炼身体,可因为之前听说过小腿变粗、膝盖受伤、猝死等等与跑步有关的意外状况,有点担心自己会掉进各种坑里,就在微信上问朋友圈一直晒跑步...
轻松搞定移动式钓鱼wifi|热点+kali虚拟机+12元usb网卡
多图预警,建议wifi下阅读文章~~~ 前言 钓鱼wifi相信大家都听说过,但你是否真的懂得钓鱼wifi的原理呢?是否真的能动手去搭建一个移动钓鱼WiFi?是否能想到几点关于钓鱼WiFi的防御手段呢? 希望通过这篇文章分享,能够帮你解答一些上面的疑惑 环境需求 手机热点 kali虚拟机 移动网卡 选用手机热点而不选用一般的wifi,是因为想要搭建一个移动式钓鱼wifi,一个手机热点就可以保障"...
nginx学习,看这一篇就够了:下载、安装。使用:正向代理、反向代理、负载均衡。常用命令和配置文件
文章目录前言一、nginx简介1. 什么是 nginx 和可以做什么事情2.Nginx 作为 web 服务器3. 正向代理4. 反向代理5. 动静分离6.动静分离二、Nginx 的安装三、 Nginx 的常用命令和配置文件四、 Nginx 配置实例 1 反向代理五、 Nginx 配置实例 2 负载均衡六、 Nginx 配置实例 3 动静分离七、 Nginx 的高可用集群 前言 一、nginx简介...
为什么程序员在学习编程的时候什么都记不住?
在程序员的职业生涯中,记住所有你接触过的代码是一件不可能的事情!那么我们该如何解决这一问题? 作者 |Dylan Mestyanek 译者 | 弯月,责编 | 屠敏 出品 | CSDN(ID:CSDNnews) 以下为译文: 每个人都会在学习编程语言的时候,努力记住所有一切,这也不足为奇。虽然有些人可以过目不忘,直接在脑海里就能想出问题的解决方案,但普通人却不能。特别是那些刚...
相关热词 c# 增加元素 c#控制台简单加法 c# 服务端框架 c# 判断事件是否注册 c#中is和has c# udp 连接超时 c#词典 c#实现排列组合 c# oss 上传 c#判断输入的是否为ip