2 mrbruces MrBruces 于 2016.02.24 10:17 提问

curl抓取淘宝首页抓取不到。

图片说明

这是我的代码,抓取淘宝一直抓取不到。

4个回答

showbo
showbo   Ds   Rxr 2016.02.24 10:47

curl得到的内容和你浏览器查看源代码后得到的一样,js动态添加的内容和ajax动态加载的无法获取

MrBruces
MrBruces 我现在这个代码就是连源代码都抓取不了,就是空的。啥也没有。
2 年多之前 回复
rui888
rui888   Ds   Rxr 2016.02.24 10:58

数据都是js 动态生成的,你获取的只是代码。

MrBruces
MrBruces 我现在这个代码就是连源代码都抓取不了,就是空的。啥也没有。
2 年多之前 回复
u014605676
u014605676   2016.02.24 12:00

淘宝应该有防抓取设置 一般是通过判断请求来源来防止抓取 你可以在浏览器中访问时抓一下包 分析一下它的请求头数据 模拟一下啥

oyljerry
oyljerry   Ds   Rxr 2016.02.24 12:30

页面是动态生成的,你没办法直接拿到内容,

MrBruces
MrBruces 我只要首页啊,我写这个代码什么都抓取不到
2 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
java抓取HTML页面的数据(淘宝页面),
--第1步:获取http---第2步用正则表达式进行解析 第1步: package com.yanshu.tools; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import j
笔记-抓取淘宝信息
今天为大家介绍用selenium自动化工具抓取淘宝美食1.直接上代码#coding:utf-8 import re from pyquery import PyQuery as pq from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.u...
php CURL 抓取页面内容 跳转 造成无结果
php CURL 获取页面数据 获取不到页面数据:在进行CURL抓取指定url返回的的内容时,可先通过浏览器直接访问,看页面地址是否发生跳转,若跳转,则需添加参数: curl_setopt($c, CURLOPT_FOLLOWLOCATION, 1); ; 完整代码段:$c = curl_init ($authurl); curl_setopt($c, CURLOPT_HEADER, 0 ); /
淘宝抓取信息接口
<?php header("Content-type: text/html; charset=utf-8"); function get_item_taobao($itemid = '', $taobaourl = '', $pcate = 0, $ccate = 0, $tcate = 0, $merchid = 0) { $url =get_taobao_info_
天猫查询页面商品信息抓取案例
simple.html.php网络上有这个文件直接下载引用即可-------------------------实际运行的php<?php header("Content-type:text/html;charset=GBK"); error_reporting(E_ALL^E_NOTICE); require_once 'simple_html_dom.php'; $cookie_file=
php的curl扩展抓取信息——模拟登陆成功却无法抓取页面等问题
最近我编辑了一个程序抓取某平台的用户的新信息并将其以邮件的形式发送。与普通的抓取页面信息不同的是,此程序涉及到了模拟登陆的过程。 技术:php的curl扩展和smtp/mime 发送邮件 难点说明:1.模拟登陆对于cookie的处理是将其存在一个文件中,页面跳转抓取信息时用来当通信证,程序结束时再删除该文件。             $cookie= dirname(__FILE__
php抓取淘宝/天猫评论,抓取成功后自动保存为"文本格式",存储在当前目录下
不说其他的,上段代码先index.html&amp;lt;!DOCTYPE html&amp;gt;&amp;lt;html&amp;gt;&amp;lt;meta charset=&quot;utf-8&quot;&amp;gt;&amp;lt;head&amp;gt; &amp;lt;title&amp;gt;抓取淘宝评论&amp;lt;/title&amp;gt;&amp;lt;/head&amp;gt;&amp;lt;style type=&quot;text/css&quot;&amp;gt; .
PHP使用CURL抓取网页
CURL是一个非常强大的开源库,支持很多协议,包括HTTP、FTP、TELNET等,我们使用它来发送HTTP请求。它给我 们带来的好处是可以通过灵活的选项设置不同的HTTP协议参数,并且支持HTTPS。CURL可以根据URL前缀是“HTTP” 还是“HTTPS”自动选择是否加密发送内容。 使用CURL的PHP扩展完成一个HTTP请求的发送一般有以下几个步骤: 初始化连接句柄;设
php使用curl抓取网页显示空白的问题.
新手一般在使用php cURL的时候会遇到抓取网页空白的问题,而导致这个问题的原因是新手忽略了http和https的区别。简单的理解下https是http的安全加强版,https是加密的 我们可以尝试下面方法来解决: 1、把你请求的url地址中的https换成http 比如把https://www.baidu.com/换成http://www.baidu.com/试一下 2、利用参数:CU
最新抓取淘宝价格数据,图片标题的就更好抓了整合就好
抓取淘宝数据,图片没有做防盗链还有标题更好抓的,整合就行。抓了下价格