求php,远程抓取的代码! 200C

怎么样通过PHP远程抓取网址的内容呀。我试了好几次都抓取不到,是不是做了防抓取功能呀;大家有什么办法吗?

10个回答

还没搞定?。。。http://ask.csdn.net/questions/164343

测试过这个里面的php代码可以直接下载你要的数据啊

showbo
支付宝加好友偷能量挖,胡杨等着我的招呼 回复qq_25667903: 有php版本的啊。。
5 年多之前 回复
qq_25667903
qq_25667903 回复showbo: 不行,你是用JS获取过来的。我没办法解析里面的内容
5 年多之前 回复
showbo
支付宝加好友偷能量挖,胡杨等着我的招呼 你机子测试还是放服务器上?如果服务器可能你服务器请求太多,ip挨封了。。
5 年多之前 回复

这种问题,最简单的做法是用浏览器访问的同时用fiddler这个软件记录和服务器的通讯过程,发送哪些cookie和postdata,什么地址,还有什么附加的数据,然后写程序模拟。

http://images.taodake.com/taodake_img/JS/www-Tdkhead-2.0.js这个文件下载下来,用js格式化工具格式化一下,然后把里面的取Input的id改一改。把抓取放到客户端去做。这样也不太容易被封ip,因为都是客户端的ip。
因为他本来就是jsonp跨域的,所以用在你的页面上不会有什么问题。而且返回的是html代码,如果不需要特别定制的话,直接插入到你的页面显示就可以了。

使用curl获取试试,这里有个例子

// 初始化一个 cURL 对象
$curl = curl_init();

// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://www.cmx8.cn');

// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);

// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

// 运行cURL,请求网页
$data = curl_exec($curl);

// 关闭URL请求
curl_close($curl);

// 显示获得的数据
var_dump($data);_

不知道你用python不,我有一个现成的python抓网页的例子,晚上可以发你。

你要时时抓取还是只抓取一次??每隔几秒抓取一次数据,太频繁抓取会被发现,拉黑的!

你要时时抓取还是只抓取一次??每隔几秒抓取一次数据,太频繁抓取会被发现,拉黑的!

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐