叫我PT
2020-01-30 18:11python爬取动态网页时为什么动态网页的url的源码和网页源码不一样?
20想用python爬虫爬burberry官网https://cn.burberry.com/mens-new-arrivals-new-in/
的最新上架衣服图片,但网页是动态加载的(有一个查看全部按钮)
点击查看更多后有一个XHR请求如图
修改爬虫header后访问该请求的url,得到的html和在原网页上按f12显示的源码不相同,如图(图一为原网页点击加载全部后的源码,图二为访问url得到的源码)
为什么会不一样呢????而且不一样的话按照url得到的格式我就没法用美丽汤了,只能正则找图片链接,怎么样得到原网页点击加载全部后的源码呢???(小白刚学爬虫,希望大佬指教)
- 点赞
- 回答
- 收藏
- 复制链接分享
1条回答
为你推荐
- python爬取动态网页时为什么动态网页的url的源码和网页源码不一样?
- python
- 正则表达式
- html5
- 1个回答