C#网页数据采集问题,源码内容不全

https://2ciyo.taobao.com/search.htm?spm=a1z10.3-c.w4002-4459427387.1.zE8LsC&search=y

以上是要采集的网页,网页前台显示,是有内容的 可以查看源码,很多数据都不存在了

不知道 是怎么回事儿,求大神指点

1个回答

宝贝信息是动态加载的,服务器端采集不了的,自己找到接口数据的url地址,直接采集那个地址,而不是采集显示的,只能获取到浏览器查看源代码一样的内容

数据接口下面的,pageNo是页数,自己修改页面采集不同的数据

 https://2ciyo.taobao.com/i/asynSearch.htm?_ksTS=1491570206687_279&callback=jsonp280&mid=w-4459427387-0&wid=4459427387&path=/search.htm&search=y&spm=a1z10.3-c.w4002-4459427387.110.YMeGqD&pageNo=2
hardtoking
hardtoking 回复showbo: 感激不尽
接近 3 年之前 回复
hardtoking
hardtoking 回复showbo: 好的
接近 3 年之前 回复
showbo
支付宝加好友偷能量挖 回复hardtoking: 浏览器f12调出开发工具看网络选项卡,一般是过滤选择ajax(xhr)那个请求的,大部分是ajax请求的多。如果没有智能看全部的请求链接,一个一个点击看返回的数据了
接近 3 年之前 回复
hardtoking
hardtoking 大神可不可详细讲下,要怎么获取这个数据接口 我以后可能会用到 就不用总是问啦
接近 3 年之前 回复
hardtoking
hardtoking 好厉害
接近 3 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问