浏览器访问 苏宁手机端页面展示的商品和使用 F12查看response 返回的结果不一样?

代码:

   user_agent = 'Mozilla/5.0 (iPad; CPU OS 9_1 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13B143 Safari/601.1' 
    headers = { 'User-Agent' : user_agent }
    request = urllib2.Request(url='http://m.suning.com/search/%E7%87%83%E6%B0%94%E7%81%B6/', headers=headers) 
    response = urllib2.urlopen(request)  
    page = response.read()

网页上面显示的是图片说明
然后使用request或F12看response 返回的第一条是图片说明
第二条却是图片说明
和页面上的不同,求教大佬

0

1个回答

←如果以下回答对你有帮助,请点击右边的向上箭头及采纳下答案

兄弟,你看的代码应该是id="productsLeft" 这一段,这不是页面展示的内容,展示的内容在后面在id="productsList"这段后面

python爬虫苏宁易购店铺商品数据爬取
https://blog.csdn.net/weixin_39416561/article/details/82018864

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
解决方案--爬虫拿到的HTML和浏览器中的源码不相同
以前学习Scrapy框架时遇到过这个问题,但是当时没有整理解决方法,最近一同事问起这个问题后又花了不少时间才解决,所以我觉得有必要整理一下这个问题。    之所以Scrapy下载的HTML和浏览器中呈现的HTML不一样是由于网页中的一些页面是由JS触发的,所以我们只要模拟浏览器的JS触发时间就可以解决该问题,现在最常用的是使用Selenium解决此问题。 Selenium   作
scrapy通过Request返回的页面数据与浏览器查看到的页面数据不一致
1.URL的地址可以反映请求用户所在的区域,区域不同返回的数据也不同 例如:http://www.xxxx/en/xxx 和 http://www.xxxx/cn/xxx 就可以看出不同 2.请求用户的IP地址所在的区域,如果使用代理,则返回的数据也可能不同。 3.请求头的设置不同,例如:user-agent,accept-language不同也会导致返回的数据不同。 scrapy有自己...
浏览器响应内容和程序响应内容不一致的原因简析
最近几天在写一个项目,和之前不同的是我想要的内容都在html标签里,所以选择xpath或者bs4来提取相关的内容,在实践的过程中遇到了一些问题,特此记录以便于查阅。 现象一:浏览器响应内容和程序响应内容不一致 当你在抓包的时候,找到了你想要的内容,并且响应的内容和页面是一致的,但是在写程序的时候,发现跑出来的内容却不一样(注意elements里面的内容和响应不一致的原因是有JS动态加载) (...
程序调试优化一:浏览器端查看、抓取后台返回数据的方法
1、在应用程序开发中,点击一个按钮或或点一个链接,页面的响应结果与我们预期的结果不一样,我们可以通过在后台应用程序打断点,debug调试,也可以通过浏览器查看、抓取后台返回数据。2、怎样通过浏览器查看和抓取呢? 浏览器我用的是google的chrome。 如下图,我点查询按钮。 一、进入调试界面 点查谒按钮之前,进入浏览器的调试界面。
怎么在pc端浏览器调试移动端页面
在最近的工作中兼任一点测试工作,需要调试移动端页面,在看了好多方法大概主要就是以google chrome浏览器为主,大概步骤为: 1.打开chrome浏览器 2.输入网址 3.按f12呼出开发者工具 4.选择emulation 大工告成,比较遗憾的是,我找了很久也没有找到这个emulation选项,开始以为是自己的浏览器不是最新版的问题,更新之后还是没有找到,搜索之后才发现老版本的才有这个选项
problem:浏览器中显示的内容,和通过右键看到的网页源码不一样?(未解决)
今天做淘宝爬虫时,发现:浏览器中显示的内容,和通过右键看到的网页源码不一样? 查了资料还是不太懂。。。前端知识几乎没有。查看原文件只是看到的网页初始状态,但实际上网页在加载完成后可能立即就会执行 js 改变了初始状态。现在的网页不同于传统的动态网页,能在不刷新网页的前提下改变网页局部的数据,这一切都是通过 js 和服务器交互进行的。这就好比你一个程序,用对话框编辑器设计了一个界面,但是在实际运
Jsoup解析网址与浏览器查看内容不一致
开发过程中,用Jsoup解析糯米团购网站页面的时候,发现取得的页面和浏览器查看到的页面不一样,而是手机页面。 程序代码如下: 1 content = Jsoup.connect("http://www.nuomi.com").timeout(6000).get();//取得整个页面内容; 经过跟踪代码执行,发现content取得的内容和用...
网页显示和源代码显示不一致
最近在工作当中遇到了一个很有意思的问题。网页显示和F12当中的源代码显示不一致。   实际显示界面 开发者工具当中的代码 大家可以很明显的看到。其中价格48380-48500 这一个数据 在代码中却为 96562-96822。这就很令人困惑了,为什么网页当中的显示值和代码中的数值不一样呢? 首先我们考虑了有可能的几种情况: 1、JavaScript更改了数值。 但是很明显不是...
chrome浏览器调试手机端h5页面
这个是常识性的问题了。奈何我之前确实是不知道。只知道用F12来调试PC端的页面,这次经过同事指点,终于知道为啥人家在浏览器调试手机端页面,显示的大小都是手机端的。 步骤:1、打开F122、如果所示点击咱们平时寻找网页的DOM节点,都是用的第一个。 第二个就是专门用来调整手机端页面的。先点击这个按钮。3、选择适配的手机型号      按照2操作点击之后,我们可以看到这个界面。箭头的位置是一个下拉选
浏览器查看request参数和response参数
-------------- Ajax方式请求 --------------1、按快捷键F12进入浏览器的开发者调试模式【这里以谷歌浏览器为例】2、选中【NetWork】-->【XHR】(当然读者可以查看其它信息可以选中其它例如:All、JS、CSS、Img...)3、请求参数:查看顺序  【(alter)的接口】 --> 【Headers】-->【Request PayLoad...
chrome 开启 JSONview 方法,让json数据格式化显示
chrome 开启 JSONview 方法,让json数据格式化显示
【问题记录】控制台解析preview和response数据不一致→解决JS处理后台返回的Long型数据精度丢失
问题描述: 后端返回数据preview和response不一致 (翻译成专业术语就是:JS处理后台返回的Long型数据精度丢失) 问题分析: JS在处理返回数据类型是Long的时候,精度会丢失一部分!!! 问题原因: JS内置有32位整数,而number类型的安全整数是53位。如果超过53位,则精度会丢失。正如现在后台传来一个64位的Long型整数,因此超过了53位,所以后台返回的...
控制台解析preview和response数据不一致怎么解决
原因可能是因为数据为Long型,返回给浏览器以后,浏览器转换数据格式的时候出现问题。解决方案:在返回数据之前就将数据转换为字符串,这样结果就是正确的。在返回前台数据类的 long字段上加入@JSONField(serializeUsing= ToStringSerializer.class)...
使用chrom浏览器Network查看前后台数据传输请求
浏览器数据请求,network网络请求查看,ajax http请求查看
HttpClient获取网页数据与模拟浏览器发送请求获取数据
最近要将JSON网页数据保存下来,找到了两种形式: 第一种:模拟get请求获取数据,按实际服务器端要求选用 Post 或 Get 请求方式 HttpClient httpClient = new HttpClient();              GetMethod getMethod = new GetMethod(dataUrlLocation);      ...
scrapy中response和浏览器网页xpath不同的解决办法
terminal中快速验证xpath是否正确无误在termianl中输入: # 网址的引号可加可不加,亲测;   scrapy shell "https://www.csdn.net/nav/ai" response.xpath("//*[@id='feedlist_id']/li[1]/div/div[2]/h2/a/text()").extract() view(response) ...
查看返回数据和结构
1.网页版:json.cn 查看返回数据和结构;     2.浏览器:①谷歌浏览器-->②鼠标右键检查-->③Netwok--> ④(All)-->⑤点击所对应的接口名-->⑥查看[Preview]...
谷歌浏览器访问接口无返回
谷歌浏览器访问接口无返回 描述:其他浏览器正常,postman测试接口也正常,唯独谷歌浏览器访问某一接口时出现状态为200,但无返回数据的问题。 环境:前端框架-vue、代理-nginx、后端框架-springcloud 解决: 1、查看nginx日志: 发现在读临时文件时,访问受限。 2、在nginx.conf配置文件顶部加上:user root; 3、然后修改/usr/local/nginx ...
使用 anriod 版chrome 浏览器调试移动端页面
如何调试手机页面 1. 手机和电脑在同一网络; 2. 手机和电脑通过usb连接,并开启 usb 调试功能; 3. 电脑安装chrome, 并打开chrome://inspect 5. 手机安装chrome, 打开a页面 6. 在步骤4页面出现手机型号,可以在输入框中输入手机的页面地址 出现a页面的地址信息 7. 点击下面的inspect按钮,进入调试页面 ...
URL 在浏览器访问与用CURL访问,返回结果不一致
【问题描述】 1、该URL是一个接口,在用浏览器访问时,返回的是正常的JSON数据。 2、用CURL或者基于WinInet的HTTP客户端访问时,返回的404的网页内容,如下图所示:   【解决方案】 1、确认URL在使用浏览器访问时,返回的是正确的数据,目的在于确定接口没问题。 2、确认该接口访问时,有没有指定访问的方法(GET还是POST)。 因为没有使用接口指定的方法(GE...
###(很难找的页面错误)查询操作不需要 返回 操作成功后失败。【方法不能同时执行两个response返回两次数据。导致页面显示数据失败】
==============查询操作不需要 返回 操作成功后失败。 ======方法不能同时执行两个response返回两次数据。 =====导致,两次都不行。 ======【不报错。很难找。控制台还迷惑的打印了返回的数据。】===返回浏览器前。 ======真正查看数据是否返货浏览器。直接访问action。看浏览器是否write。 ======两个response,访问acti
JavaWeb不要使用Eclipse内置浏览器!好处:F12检查JavaWeb页面代码Bug和避免“假的bug”
===检查JavaWeb页面代码Bug//=========【这个要养成习惯。】 在此记录。因为即使学过。长期开发后台代码,再次接触页面取值等操作,习惯性看控制台。 但是页面bug控制台是没有显示的。//===对于喜欢偷懒图方便的我来说,总喜欢用Eclipse内置浏览器。 ====导致我页面分页链接,点击总是404!======Google浏览器F12跟踪才找到问题。 ===避免“
手机端网站H5静态页面 仿苏宁移动端
手机端网站H5静态页面 仿苏宁移动端, 自适应,只有静态页,可供学习
用chrome测试请求报文
1、需要Postman4.1.3压缩包,可下载,解压到本地文件夹。 2、打开chrome浏览器,选择更多工具,扩展程序,开发者模式,点击加载以解压的扩展程序,选择刚才解压的文件夹。 3、点击启用。
Jsoup获取网页源代码不一致的问题
我用狐火浏览器抓取csdn咨讯文章的网页源码,发现得到的结果和在浏览器中看到的不一样。开始我的代码为:Document doc = Jsoup.connect("http://www.csdn.net/article/2015-10-21/2825979").get(); 后来想到要模拟浏览器的行为,于是查看请求头,添加”User-Agent”请求头,这样得到的源码和网页上的是一样的,最好也添加一些
SSM项目访问一个方法接口时,执行了方法,可是在浏览器的F12却显示这个方法404的问题
话说昨天在测试代码的时候,莫名的发现了一个bug,就是明明方法执行了,可是浏览器的控制台却显示这个方法的路径是404,最后发现自己怕是石乐志,这个方法执行后是有返回值的,然而我的这个方法忘记加了@ResponseBody,被自己蠢到了,方法的路径是没有错,可以执行,可是没有加注解所以找不到这个返回值......
浏览器的一个妙用——修改京东商品单价显示
前几天,部门的小A找到我,告诉我上次在京东买了东西,找财务处报销的时候遇到了一些问题。因为报销需要商家给的发票和购物截图,而发票上的价格与网页上显示的价格并不相同,于是寻求我的帮助。 一开始我想,用PS或者直接用windows的画图工具,把购物截图涂涂改改也不是什么难事,但这样似乎麻烦且耗时了一些。因为最近常用浏览器调试本地web程序,突然就想到能不能通过浏览器直接修改网页元素呢(因为以前使
不同浏览器前端调试查看返回页面的json数据
VS2015;新建一个asp.net 空网站;加入一个简单网页;加入一个一般处理程序; 一般处理程序代码如下; public class Handler2 : IHttpHandler { public void ProcessRequest (HttpContext context) { context.Response.ContentType = "text/p...
Nginx根据Pc端和手机端访问不同页面
有的时候一个网站需要区别是pc访问的 还是手机访问的,根据平台的不同让他跳转到不同的入口;可以这样实现: server { ### nginx 用来当静态资源的服务器 listen 83; server_name localhost; underscores_in_headers on; # 是手机还是pc set $mobile_rewrite ispc; ...
在PC机使用浏览器手机模式预览HTML5页面
有时侯,希望看看自己写的HTML5页面在手机上显示什么效果, 但是又想在电脑预览, 这里有一种办法: 360极速浏览器,按下F12,再点击手机图标。搞定! 如下图
静止F12和右键查看源代码
直接贴代码吧!这是我在layui里面写的,你们改一改弹窗就好 function stop(){ javascript:layer.msg('\u6b22\u8fce\u5149\u4e34\u672c\u7ad9', {icon:6, shade: 0.5, time:1000});return false; }document.oncontextmenu=stop; documen
手机报表参数和结果在一个页面展示
在手机端访问报表时,默认是先展示参数模板,输入参数点击查询后再展示结果报表,希望能像pc端一样,将参数模板和结果报表放在一个页面内展示,上方展示参数模板,下方展示结果报表。 目前手机报表中参数模板和结果报表是通过两个jsp展示的,分别为mobile下的mbParam.jsp和mb...
浏览器F12查看action变化
今天工作的时候,用chrome浏览器,f12的时候,查看action的变化,有时为了查看某一个action的时候,死死的盯着,网速快了,又不知道在哪里去找了,还得死劲的重复来看,最后还录像来看,其实别人早在设计的时候就考虑到了,如下图所示:勾选上 Preserve log [img]http://dl2.iteye.com/upload/attachment/0120/8424/da375...
通过浏览器中的F12中来查看接口的入参、出参和网页响应时间(新手教程)
打开浏览器自带的F12 看到网络上关于这个总结的比较少,就收集了一些资料做个总结,有错的麻烦指出,谢谢! 一开始用的是谷歌浏览器,后来接触到火狐浏览器,突然感觉更加容易理解和使用,所以就更换一下使用的浏览器。 1.以FireFox(火狐浏览器)和csdn的首页来示范,首先用火狐浏览器进入到csdn的首页,按F12,找到。如下图 2.接下来就是找一个可选的链接“...
解决vue项目打包后浏览器F12查看到项目源代码的问题
打开config下index.js文件,找到 productionSourceMap: true ,改为 false 即可。
chrome查看network的response,一直显示加载失败
问题:chrome查看network的response,一直显示加载失败 解决:首先,preserve log一定要勾上,如果还是没用,应该是您的某个设置有问题,但是我们又不知道是哪个设置,所以最好的办法就是恢复默认设置,然后再重新勾选preserve log等
IE浏览器无法加载数据,按F12就可以加载
Root cause: 代码里用到console对象,而某些版本的IE不开控制台,是没有这个对象的。 因为上下文中没有console这个对象, 所以就直接抛异常了,但是不打开控制台看不到。打开了控制台,上下文中就有这个对象,所以就不会抛错了 Action: 1.删除console相关代码 2.用try catch捕获异常
个人网站上线了
忙里偷闲,终于把自己的博客网站搭起来了! 地址:http://www.eknown.cn 支持评论功能,欢迎大家前来交流!
requests.get为什么得到的内容和查看源文件不一样?
由于初学爬虫 尝试着在beausoup库和re正则间来回爬去加强对两种方法的理解 但是利用正则的时候出现了一个这么个问题 源文件打开 找到的元素 在requests.get竟然没有 虽然很简单的一个问题 但是困扰了我半个多小时 这里吧一些经验总结下来 避免少走弯路 拿最简单的静态 贴吧为例 我们打开url:         http://tieba.baidu.com/i/i/fan
浏览器调试工具网页性能分析中的使用
IE、chrome、firefox等按F12可以掉出它们自带的页面调试工具,作为测试当然不能非常精通在页面上修改样式,调试页面jsp,js,但是却可以很轻松的使用它来分析网页的性能优化项。基础篇现在的网络模式粗糙的理解,就是BS结构(客户/服务端),一个负责请求展现,一个负责响应提供内容。这个过程包括底层网络的三次握手,TCP/IP的通信巴拉巴拉的一些列低级的我们不需要了解过细的活动(大牛除外),这