2 mrbruces MrBruces 于 2016.02.24 10:17 提问

curl抓取淘宝首页抓取不到。

图片说明

这是我的代码,抓取淘宝一直抓取不到。

4个回答

showbo
showbo   Ds   Rxr 2016.02.24 10:47

curl得到的内容和你浏览器查看源代码后得到的一样,js动态添加的内容和ajax动态加载的无法获取

MrBruces
MrBruces 我现在这个代码就是连源代码都抓取不了,就是空的。啥也没有。
接近 2 年之前 回复
rui888
rui888   Ds   Rxr 2016.02.24 10:58

数据都是js 动态生成的,你获取的只是代码。

MrBruces
MrBruces 我现在这个代码就是连源代码都抓取不了,就是空的。啥也没有。
接近 2 年之前 回复
u014605676
u014605676   2016.02.24 12:00

淘宝应该有防抓取设置 一般是通过判断请求来源来防止抓取 你可以在浏览器中访问时抓一下包 分析一下它的请求头数据 模拟一下啥

oyljerry
oyljerry   Ds   Rxr 2016.02.24 12:30

页面是动态生成的,你没办法直接拿到内容,

MrBruces
MrBruces 我只要首页啊,我写这个代码什么都抓取不到
接近 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!