curl抓取https网址时出现307问题,如何解决。

抓取https://tg22.net/SiteSort/index.aspx这个网址

php

1个回答

qq_39545346
一介白衣ing 老哥,解决了吗。我对工行支付接口,里面报了一个307
6 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
curl抓取https网页
function get_file($url) { $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, $url); curl_setopt($curl, CURLOPT_HEADER, 1); curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); curl_setopt($curl, CURLOPT_SS
Curl 方法抓取页面时出现的问题,
前不久做了个成绩查询的代理系统,用curl方法模拟登录学校的教务系统(ASP写的,并且写的非常烂),进行抓取信息内容,再将内容进行展现。rn 之后学校的教务系统换新的了,是用JSP写的,添加了验证码这个功能,然后我获取到验证码,进行输入,然后用curl方法提交HTTP请求,可是抓取到的结果返回的都是[b][color=#FF0000]“数据库忙请稍候再试”[/color][/b],而我把URL打出来,直接输到地址栏是可以进入教务系统的;并且我用POSTMAN发生HTTP请求,GET、POST方法都能进入系统,唯独用PHP的CURL方法会出现“数据库忙”。。后来用ruby写了一段类似的代码,是用net:http的方法,同样也出了“数据库忙请稍后再试”,同样把URL复制到地址栏也能进入。。不知道问题所在。。求助。。rn 下面上图。。rn [i][/i][img=https://img-bbs.csdn.net/upload/201408/10/1407647833_815590.png][/img]rn[img=https://img-bbs.csdn.net/upload/201408/10/1407647848_922187.png][/img][i][img=https://img-bbs.csdn.net/upload/201408/10/1407647856_178708.png][/img][/i]rn[code=php] echo $url.' ';rn $ch = curl_init($url); rn curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); rn $content = curl_exec($ch); rn curl_close($ch);rn echo $content;[/code]rn代码没有加任何的其他setopt。。求大神指点指点。。是什么问题。。
【Charles】无法抓取https网址问题
右键SSL Proxying:Enabled 然后再一次抓接口 就可以了
Fiddler在抓取https数据包时如何解决Tunnel to 443的问题?
Fiddler这款工具就不详细介绍了,网上的资料一抓一大把。它作为抓取web和手机的数据包是一个利器。但是对于刚刚安装好fiddler的施主们来说,打开fiddler仅仅能够抓取的是HTTP的请求----这显然是不够的!在平常的工作中,很多产品或系统都是https的请求,没有经过设置的fiddler对于这些高难度妖精是毫无办法滴!但是我们遇到困难也不能退缩呀,下面贫僧就给大家介绍下怎么搞定http...
curl不能支持https问题-解决
我的想法是重新安装curl curl安装过程 1、目前curl的edition是7.61.0.tar.gz 官网:https://curl.haxx.se/latest.cgi?curl=tar.gz 2.解压:# tar -zxvf curl-7.14.0.tar.gz # cd curl-7.14.0 # ./configure 这里注意的是最后会显示一段信息提示是否支持htt...
CURL做HTTPS问题
服务器上有数字证书和公钥,在本地没有任何证书及公钥,也没有根CA;rn问如何用curl获取服务其上的证书,并使用此证书进行SSL握手,及连接。rn请重点描述curl_easy_setopt()中的设置,非常感谢!
curl访问https的问题
需要一些crt文件什么的吗?rnrnopt设置都需要设置什么?rnrn我自己建立的https服务器可以正常curl_exec($ch)rn但是别人的https访问返回false。 rnrn如何解决?
curl https的问题
请问如何配置curl才能支持获取https网站内容或者向https的网站提交数据rn
curl https问题
windows上,snoopy好像不支持https,所以决定用curlrn我安装的是xampp集成环境,附带有curlrn用curl做http模拟登录没有什么问题,但是https就不行,如gmailrn想请问各位如何实现curl的https请求,谢谢!rnPS:网上找过很多解决方案,还是不行rnrnrn[code=PHP]rnset_time_limit(0);rnrn//cookie保存文件rn$cookie_jar = tempnam('./tmp', 'cookie');rnrn//登录的账号和密码rn$post_fields['Email'] = '*************';rn$post_fields['Passwd'] = '*******';rnrn//模拟登录rn$curl = curl_init();rnrncurl_setopt($curl, CURLOPT_URL, 'https://www.google.com/accounts/ServiceLogin'); rncurl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);rncurl_setopt($curl, CURLOPT_POST, 1);rncurl_setopt($curl, CURLOPT_POSTFIELDS, $post_fields); rncurl_setopt($curl, CURLOPT_COOKIEJAR, $cookie_jar); //保存cookierncurl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);rnrn$d = curl_exec($curl);rnrncurl_close($curl);rnrnrn//输出登录后的页面rn$ch = curl_init();rnrncurl_setopt($ch, CURLOPT_URL, 'https://www.google.com/accounts/ManageAccount');rncurl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_jar); //读取cookierncurl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);rncurl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);rnrn$data = curl_exec($ch);rnrncurl_close($ch);rnrn//输出页面rnprint $data;rn[/code]rn
curl抓取,session失效的问题?
我是做的一个购物车,是这样来做的!当添加商品到购物车时,rn购物车 那个 小模块页面 我是 通过 的方式加载到页面上的;rn当添加商品到购物车时,是通过ajax的操作放入到购物车中的,并且将商品信息写入了session中;rn在 index.php?a=shop&c=index&r=1221 这个 方法中 是 通过 curl 抓取 的 index.php?a=shop&c=shopcart 方法返回的html页面,在这个方法中有 [color=#FF0000]session [/color] 的判断,就是获取已经加入了购物车的商品信息rn,结果是 shopcart 中的session末法获取到,但我在单独调用又能够获取到,这个是什么原因啊?rnrnrn解惑!
curl抓取
/**  * 抓取信息操作  */ class ReptileOperation{          /**      * 通过url获得网页内容【单线程】      * @param $url      * @return array      */     function getContent($url){         $ch = curl_init();
如何远程抓取网址
问题是这样的,rnrn点击http://hostA?参数=...这个网址,将自动跳转到rnhttp://hostB?参数B=数值&参数C=数值网址来。rnrn可否通过httprequest之类的方法,后台得到参数B和参数C?
请问下https的网址php如何抓取。curl函数感觉已经被秒杀了!
v.baitv.com/player/hunantv1.htmlrnrn这个网址里面有一个超链接。。我用file_get_contents去抓取这个超链接。或者curl去抓取 rn出来的结果都跟我们只接浏览点右键看源代码的结果不一样。。rnrn到底php要怎么才能抓到这个超链接所在的源码。。。纠结!!rnrn以下函数要补一个$urlrn[code=php]function curl_https($url, $data=array(), $header=array(), $timeout=30)rnrn $ch = curl_init();rn curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 跳过证书检查rn curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, true); // 从证书中检查SSL加密算法是否存在rn curl_setopt($ch, CURLOPT_URL, $url);rn curl_setopt($ch, CURLOPT_HTTPHEADER, $header);rn curl_setopt($ch, CURLOPT_POST, true);rn curl_setopt($ch, CURLOPT_POSTFIELDS, http_build_query($data));rn curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); rn curl_setopt($ch, CURLOPT_TIMEOUT, $timeout);rnrn $response = curl_exec($ch);rnrn if($error=curl_error($ch))rn die($error);rn rnrn curl_close($ch);rnrn return $response;rnrnrnrn// 调用rn$data = array('name'=>'fdipzone');rn$header = array();rnrn$response = curl_https($url, $data, $header, 5);rnrnecho $response;[/code]
gae网址抓取问题
问题是这样我想抓取cn.bing.com 的背景图片地址,来用作我一个网页的的背景。我已经获取到了整个网页的代码。用什么方法能简单的把背景图片的URL 提取出来呢?我要提取的代码:rn...L_background:none#bgDivopacity:1;background-image:url([color=#FF00FF]http://s.cn.bing.net/az/hprichbg/rb/Kitty_ZH-CN7073082266_1366x768.jpg[/color]);#hp_ctrlshei...rn刚接触python, 还不是很了解。可以使用正则表达式吗?使用正则表达式怎么做?哪位高手帮解决以下
php curl 抓取taobao评价出现中文乱码
本地调试没问题,一切正常,可是传到阿里云虚拟机就出现乱码问题,也试了网上的方法CURLOPT_ENCODING, 'gzip,deflate') 的解压,或mb_convert_encoding($result, 'UTF-8', 'UTF-8,GBK,GB2312,BIG5');转码一样都不行。我要崩溃了。。。![图片说明](https://img-ask.csdn.net/upload/201811/23/1542965703_39439.jpg)
使用curl抓取一个网页出现瓶颈
http://www.sgs.gov.cn/lz/etpsInfo.do?method=indexrn这个网站rn输入上海科波勒之后查询后可以得到[img=https://img-bbs.csdn.net/upload/201401/23/1390468643_870529.png][/img]rn点击查看详情后他发送了一个post到http://www.sgs.gov.cn/lz/etpsInfo.do?method=viewDetailrn$etpsId = 290000032004051700672rn用curl总是返回非法的访问方式,rn我设置了refer,设置了setcookie都还是不成。哪位大神能解决吗rn
curl请求 https资源的时候出现400
curl https proxy curl: (56) Received HTTP code 400 from proxy after CONNECT
curl不能支持https问题
默认情况下,libcurl不支持https, 如果使用https链接,就会出现" Protocol https not supported or disabled in libcurl" 的错误提示。查看curl是否支持https可以使用命令: curl -V。 解压:# tar -zxvf curl-7.49.0.tar.gz
curl抓取网页内容时的重定向和乱码解决
url=‘网址′;url = ‘网址’; ch = curl_init(); //初始化// 设置选项,包括URL curl_setopt(ch,CURLOPTURL,ch, CURLOPT_URL, url); //是否将参数返回到页面中(0表示是1表示否) curl_setopt(ch,CURLOPTRETURNTRANSFER,1);curlsetopt(ch, CURLOPT_RE
使用curl出现内存泄漏的问题,求解决!!!
其实代码很简单rn程序起来的时候执行:curl_global_init(CURL_GLOBAL_DEFAULT);rn关闭的时候执行:curl_global_cleanup();rncurl的其他接口都没用到,就这个两个rnrn但用Valgrind检测时候却发现有内存问题:rn==00:00:00:04.961 23736== 32 bytes in 1 blocks are still reachable in loss record 2 of 2rn==00:00:00:04.961 23736== at 0x4C2636D: malloc (vg_replace_malloc.c:291)rn==00:00:00:04.961 23736== by 0x7058C2D: CRYPTO_malloc (in /usr/lib64/libcrypto.so.1.0.1e)rn==00:00:00:04.961 23736== by 0x70D3CCC: sk_new (in /usr/lib64/libcrypto.so.1.0.1e)rn==00:00:00:04.961 23736== by 0x6DC9DE4: ??? (in /usr/lib64/libssl.so.1.0.1e)rn==00:00:00:04.961 23736== by 0x6DCA008: SSL_COMP_get_compression_methods (in /usr/lib64/libssl.so.1.0.1e)rn==00:00:00:04.961 23736== by 0x6DD17D8: SSL_library_init (in /usr/lib64/libssl.so.1.0.1e)rn==00:00:00:04.961 23736== by 0x6B691E2: Curl_ossl_init (in /usr/local/lib/libcurl.so.4.3.0)rn==00:00:00:04.961 23736== by 0x6B47AC9: curl_global_init (in /usr/local/lib/libcurl.so.4.3.0)rn==00:00:00:04.961 23736== by 0x47F5A2: main (main.cpp:53)rnrn难道是我释放的接口调用不对么?rn还是漏释放了什么。。。
编译时,出现缺少 curl 问题的解决
/** Description * Sample project in C using libcurl. * Requests the rate data for EUR/USD, USD/CAD, AND USD/JPY and outputs them to standard output. */ #include #include int main() { CURL
php的curl抓取页面
1.IPV6下超时的解决办法 2.curl获取返回的状态码
curl抓取页面Demo
$url = 'http://www.weixinqun.com/group'; $ch = curl_init($url) ; curl_setopt($ch, CURLOPT_CUSTOMREQUEST, 'GET'); curl_setopt($ch, CURLOPT_HEADER, false); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //
CURL抓取疑问
有高人熟悉CURL不,我想抓回www.shenzhenair.com的国内机票信息,这个shenzhenair会在第1次查询的时候生成一个strIdentity值,但我把这个值获取回来后再次查询就说这次查询已过期,有人知道解决方法不,急啊,分不够还可以再加。
CURL 抓取页面失败
CURL 抓取页面失败rnrn但是我抓取网址 www.baidu.com,就可以成功。rnrn我想是因为原网站判读了来路,或者说什么什么……(我猜想的,也不知道还有什么其它原因没有)rnrn是不是要你们常说的伪造一个head 头。或者说什么什么的…………rnrnrn大侠们,可以给点建义或者说小例子什么的。rn
curl抓取超时
最近做一个spider,在爬取http://news.fblife.com/时遇到个问题,这个网站应该是做了防爬取的处理,抓取时只能抓回16K之后就一直等待,求教。
用TIdHTTP控件抓取这个网址的数据时,出现乱码
为什么我用TIdHTTP控件抓取这个网址的数据时,出现乱码?而其他的一般的网址就可以?怎么改?先谢了! rn该地址如下: rnhttp://bill.finance.sina.com.cn/bill/trade_item.php?stock_code=sh580013&pages=0&time=1218809515' rn程序如下: rnunit Unit1; rnrninterface rnrnuses rn Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms, rn Dialogs, IdBaseComponent, IdComponent, IdTCPConnection, IdTCPClient, IdHTTP, rn StdCtrls, ExtCtrls, WebAdapt, WebComp,WinINet, ComCtrls, OleCtrls, SHDocVw; rnrntype rn TForm1 = class(TForm) rn Panel1: TPanel; rn Button1: TButton; rn Memo1: TMemo; rn procedure Button1Click(Sender: TObject); rn private rn Private declarations rn public rn Public declarations rn end; rnrnvar rn Form1: TForm1; rnrnimplementation rnrn$R *.dfm rnrnrnprocedure TForm1.Button1Click(Sender: TObject); rnvar rn url:string; rn IdHTTP:TIdHTTP; rn stream:TMemoryStream; rn begin rn url:='http://bill.finance.sina.com.cn/bill/trade_item.php?stock_code=sh580013&pages=0&time=1218809515'; rn IdHTTP:=TIdHTTP.Create(nil); rn stream:=TMemoryStream.Create; rn try rn IdHTTP.get(url,stream); rn stream.SaveToFile('c:\1.txt'); rn finally rn stream.Free; rn IdHTTP.Free; rn end; rn end; rnrnrnend.
白话CURL抓取数据
白话CURL
curl多线程抓取数据
curl模拟多线程,传入一维数组url /**  * curl模拟多线程 * * @access public * @author 2017.4 * @param array * @return array */  function getCurlObject($urls = array()){     $queue = curl_multi_init(); //允许并行地处理
CURL抓取失败请教
问个问题哈~rn用curl抓取不到这个页面的数据~请教一下方法rnhttp://mybus.xiamentd.com/LineDetailQuery?lineId=118&direction=1rnthx!
使用curl抓取百度首页
<?php //curl模拟get请求  抓取百度首页 $url="http://www.baidu.com"; //1.初始化curl $ch=curl_init(); //1.1设置传输选项(向服务器端发送请求) curl_setopt($ch,CURLOPT_URL,$url); //1.2执行curl请求(接收服务器端发送的数据) curl_exec($ch); //1.3关闭cur...
HttpClient3.x 如何访问https的网址
访问https的时候,一般需要指定一个受信任的证书库(就是说,要先准备一个证书)rnrn我再网上找了2个方法,代码如下:rn[code=java]rnpackage com.lala.xfire;rnrnimport java.io.FileInputStream;rnimport java.io.InputStream;rnimport java.security.KeyStore;rnrnimport javax.net.ssl.SSLContext;rnimport javax.net.ssl.TrustManagerFactory;rnrnimport org.apache.commons.httpclient.HttpClient;rnimport org.apache.commons.httpclient.methods.GetMethod;rnimport org.apache.commons.httpclient.protocol.Protocol;rnimport org.apache.commons.httpclient.protocol.ProtocolSocketFactory;rnrnimport com.lala.xfire.py.SimpleProtocolSocketFactory;rnrnpublic class HttpContentrnrn static String certFile = "E:/tmp/my/client.jks";rn static String certPass = "123456";rn static String url = "http://147.54.71.124:9925/api/v1/credit.do";rn /**rn *方法一: rn */rn public static void method1()throws Exceptionrn rn System.setProperty("javax.net.ssl.trustStore", certFile);rn System.setProperty("javax.net.ssl.trustStorePassword", certPass);rn run();rn rn /**rn *方法二: rn */rn public static void method2()throws Exceptionrn rn KeyStore ks = KeyStore.getInstance(KeyStore.getDefaultType()); rn InputStream input = new FileInputStream(certFile); rn ks.load(input, certPass.toCharArray()); rn input.close();rn rn TrustManagerFactory tmf = TrustManagerFactory.getInstance("SunX509");rn tmf.init(ks);rn rn SSLContext context = SSLContext.getInstance("TLS");rn context.init(null, tmf.getTrustManagers(), null);rn rn final ProtocolSocketFactory factory = new SimpleProtocolSocketFactory(context);rnrn Protocol.registerProtocol("https", new Protocol("https", factory, 443));rnrn run();rn rn public static void run()throws Exceptionrn rn HttpClient httpclient = new HttpClient();rn GetMethod httpget = new GetMethod(url); rn httpclient.executeMethod(httpget);rn byte[] str = httpget.getResponseBody();rn System.out.println(new String(str, "UTF-8"));rn httpget.releaseConnection();rn rnrn[/code]rnrn但是,这2个方法都有一个致命的问题,就是rnrn设置的证书,会影响其他的程序。rnrn也就是说,我的应用里面要访问多个厂商的api接口,每个厂商都有自己各自的证书rnrn如何像httpclient4.x一样,每个httpclient都可以指定一个SSLContext,这样就可以,每个接口都使用自己的httpclient
curl库支持https
默认情况CURL是不支持的HTTPS。如果需要支持, 需要重新编译CURL。HTTPS支持需要OPENSSL库,也需要重新编译。 主要操作步骤如下: 安装openssl wget https://www.openssl.org/source/old/1.1.0/openssl-1.1.0f.tar.gz tar -zxvf openssl-1.1.of.tar.gz cd openssl ./...
curl 抓取实例
  function get_curl_info($url) { /*$proxy = array("114.127.246.36:80","199.197.2.183:80","75.126.176.161:80","218.75.100.114:8080","60.12.190.58:8080","218.14.227.197:3128","cdn-kmr-c2100-01
curl多批次抓取,
<?php $urls=array( 'http://www.baidu.com/s?wd=马云', 'http://www.baidu.com/s?wd=李彦宏', 'http://www.baidu.com/s?wd=马化腾' ); $file="./content.txt"; $str=fopen($file,'a'); $mh=curl_multi_init(); for
支持https的curl
windows平台下使用的curl,已经测试验证支持https协议
curl使用——https访问
自己在阿里云上搭建了一个https服务器,以前一直用的是postman,现在想尝试用curl curl --cert client.crt --key client.key --insecure https://此处添加自己的网址及端口 ...
curl 登录https网站
curl 登录https网站 curl 登录https网站 curl 登录https网站 curl 登录https网站 curl 登录https网站
curl 关于 https 请求
今日在做一个项目,需要curl获取第三方的API,对方的API是https方式的。 之前使用curl能获取http请求,但今天获取https请求时,出现了NULL。 解决方法,在curl请求时,加入 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false); // 跳过证书检查 curl_setopt($ch, CURLOPT_SSL_VERIFYHO...
charles抓取https中出现unknow
http正常抓包,https则出现unknown 1.安装证书 Help-&gt;SSL Proxying-&gt;Install Charles Root Certificate 但是!!!装完并没有信任此证书。 信任证书步骤 方法1 Win+R输入mmc 打开文件-&gt;添加/删除管理单元,点击证书,添加到右侧,点击确定 找到要信任的证书将证书复制到第三方根证书颁...
相关热词 c++和c#哪个就业率高 c# 批量动态创建控件 c# 模块和程序集的区别 c# gmap 截图 c# 验证码图片生成类 c# 再次尝试 连接失败 c#开发编写规范 c# 压缩图片好麻烦 c#计算数组中的平均值 c#获取路由参数