qq_41734591 2018-02-23 03:04 采纳率: 66.7%
浏览 1419
已采纳

python爬虫的理解问题

本人编程小白,近日看了一点爬虫教学视频有些不理解,希望向大神求教:
同样的url,chrome浏览器F12后的Elements选项卡下的内容,和python使用requests库,print((requests.get("同样的URL")).text)显示的内容,以及使用selenium库执行如下代码显示的内容:

from selenium import webdriver
browser = webdriver.Chrome()
browser.get("同样的URL")
print(browser.page_source) 

请问:三者分别显示什么内容?如果显示内容不一样,这三者之间是什么关系?是否与chrome浏览器F12后的Network选项卡下的内容有关?

我个人的理解是:
res.text内容是请求时网页的html代码
Elements选项卡下的代码内容其实是会变化的,就是当前浏览器所显示的内容,所以与selenium执行以上代码显示的内容相同
Network选项卡下是各种请求,因为这些请求才使浏览器所显示的内容呈现或变化

我的理解对吗?如有错误,请各位指正或重新回答所提的问题,谢谢!

  • 写回答

4条回答 默认 最新

  • greatsimple 2018-02-26 10:39
    关注
    1. 你的理解是对的
    2. 我把我的理解说一下, 比如说一个网页显示了商品的价格, 而且这个价格信息是网页的js代码请求了价格信息对应的url之后显示出来的
    • 我用requests库去访问一个url的时候, 得到的是最原始html文件. 就是这行js代码而已, 不含有价格信息
    • 我用浏览器访问一个url的时候, 浏览器就会执行这行js代码, 得到价格信息, 浏览器渲染之后的html就是Elements选项卡下的内容. 所以含有价格信息
    • selenium调用的也是浏览器, 所以也含有价格信息
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题?

悬赏问题

  • ¥100 在连接内网VPN时,如何同时保持互联网连接
  • ¥15 MATLAB中使用parfor,矩阵Removal的有效索引在parfor循环中受限制
  • ¥20 Win 10 LTSC 1809版本如何无损提升到20H1版本
  • ¥50 win10 LTSC 虚拟键盘不弹出
  • ¥30 关于PHP中POST获取数据的问题
  • ¥30 微信小程序请求失败,网页能正常带锁访问
  • ¥15 Python实现hog特征图可视化
  • ¥30 德飞莱51单片机实现C4炸弹
  • ¥50 CrossLink-LIF-MD6000 型 FPGA 的 CMOS 转 MIPI D-PHY IP 核功能使用异常
  • ¥15 proteus控制16x16LED点阵显示屏的设计