huolin1990 2022-07-28 17:33 采纳率: 50%
浏览 701
已结题

为何同一网址使用Selenium打开和在浏览器中手动输入打开显示的结果不相同

本人在使用python自动爬取智联数据分析师职位的招聘数据时出现一个奇怪的现象,当我将抓取的目标网址手动输入到我自己打开的浏览器中时,所显示的内容和python自动打开的网页的内容完全不一样。与此同时,我打开的浏览器中显示搜索“数据分析师”职位的结果远不止一页,但是用python自动打开的网址显示的搜索结果只有一页。按道理同样的网址不管是使用自动测试软件打开还是手动输入打开,显示的结果应该是一样的,不知道我的问题是什么原因导致的。
使用python打开的网页如下图所示

img


翻转到页面的底端是可以发现搜索的结果只有一页

img


下面的图片是我将同样的网址(也就是输入到selenium中进行抓取数据的网址)输入到浏览器中得到的结果

img


翻转到页面底端可以看到我再浏览器中输入相同的网址得到的搜索结果远不止一页

img


我运行的python代码如下

# 导入webdriver
import selenium
from selenium.webdriver.edge.options import Options
from selenium import webdriver
from selenium.webdriver.edge.service import Service
from selenium.webdriver.common.by import By
edge_options = Options()
#设置不弹出网页
#edge_options.headless = True
#设置不显示不多余的警告信息
edge_options.add_experimental_option("excludeSwitches", ['enable-automation', 'enable-logging'])
s = Service(r'C:\Users\app\Downloads\edgedriver_win64\msedgedriver.exe')
driver = webdriver.Edge(service=s,options=edge_options)
url = 'https://sou.zhaopin.com/?jl=719&kw=%E6%95%B0%E6%8D%AE%E5%88%86%E6%9E%90%E5%B8%88'

# 向指定url发起请求
driver.get(url)

  • 写回答

2条回答 默认 最新

  • GavinHaydy 2022-07-28 21:28
    关注

    是不是手动打开的页面是登录状态 脚本打开的没登录

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 8月2日
  • 已采纳回答 7月30日
  • 创建了问题 7月28日

悬赏问题

  • ¥15 汇川EASY521plc电子凸轮
  • ¥15 C++ 如何判断设置快捷键来实现隐藏/显示窗口
  • ¥15 关于#材料工程#的问题:有没有具有电子阻挡层和空穴阻挡层的电池仿真silvaco代码例子或者其他器件具有阻挡层例子的silvaco代码(最好还有相关文献)
  • ¥60 基于MATLAB的TAOD算法
  • ¥15 Groimp使用疑问
  • ¥15 MDK–ARM里一直找不到调试器
  • ¥15 oracle中sql查询问题
  • ¥15 vue使用gojs3.0版本,在nodeDataArray中的iconSrc使用gif本地路径,展示出来后动画是静态的,不是动态的
  • ¥100 代写个MATLAB代码,有偿
  • ¥15 ansys electronics 2021 R1安装报错,错误代码2,如图