qq_41734591 2018-02-23 03:04 采纳率: 66.7%
浏览 1419
已采纳

python爬虫的理解问题

本人编程小白,近日看了一点爬虫教学视频有些不理解,希望向大神求教:
同样的url,chrome浏览器F12后的Elements选项卡下的内容,和python使用requests库,print((requests.get("同样的URL")).text)显示的内容,以及使用selenium库执行如下代码显示的内容:

from selenium import webdriver
browser = webdriver.Chrome()
browser.get("同样的URL")
print(browser.page_source) 

请问:三者分别显示什么内容?如果显示内容不一样,这三者之间是什么关系?是否与chrome浏览器F12后的Network选项卡下的内容有关?

我个人的理解是:
res.text内容是请求时网页的html代码
Elements选项卡下的代码内容其实是会变化的,就是当前浏览器所显示的内容,所以与selenium执行以上代码显示的内容相同
Network选项卡下是各种请求,因为这些请求才使浏览器所显示的内容呈现或变化

我的理解对吗?如有错误,请各位指正或重新回答所提的问题,谢谢!

  • 写回答

4条回答 默认 最新

  • greatsimple 2018-02-26 10:39
    关注
    1. 你的理解是对的
    2. 我把我的理解说一下, 比如说一个网页显示了商品的价格, 而且这个价格信息是网页的js代码请求了价格信息对应的url之后显示出来的
    • 我用requests库去访问一个url的时候, 得到的是最原始html文件. 就是这行js代码而已, 不含有价格信息
    • 我用浏览器访问一个url的时候, 浏览器就会执行这行js代码, 得到价格信息, 浏览器渲染之后的html就是Elements选项卡下的内容. 所以含有价格信息
    • selenium调用的也是浏览器, 所以也含有价格信息
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(3条)

报告相同问题?

悬赏问题

  • ¥15 metadata提取的PDF元数据,如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错
  • ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误,如何解决?
  • ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
  • ¥15 c#逐行读取txt文本,但是每一行里面数据之间空格数量不同
  • ¥50 如何openEuler 22.03上安装配置drbd
  • ¥20 ING91680C BLE5.3 芯片怎么实现串口收发数据
  • ¥15 无线连接树莓派,无法执行update,如何解决?(相关搜索:软件下载)
  • ¥15 Windows11, backspace, enter, space键失灵