python怎么用selenium获取请求头?

python怎么用selenium获取请求头?

d = selenium.webdriver.common.desired_capabilities.DesiredCapabilities.CHROME
d['loggingPrefs'] = {'performance': 'ALL'}
# --------------------分割线----------------------
browser.get_log('performance')

这个方法已经试过了,不好使,会出现异常:

selenium.common.exceptions.InvalidArgumentException: Message: invalid argument: log type 'performance' not found

说是新版本不支持,请问该怎么解决?

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
Python+OpenCV计算机视觉

Python+OpenCV计算机视觉

请问这个python里selenium获取异步加载的问题

我是新手,请问个小白的问题: 用selenium提取异步加载页面,结果也找不到浏览器里的显示内容是怎么回事? 比如下面这个页面,要获取页面里的关注数量,粉丝数量等资料 ``` from selenium import webdriver driver = webdriver.Chrome() driver.get('https://h5.weishi.qq.com/weishi/personal/1546312839098426/wspersonal?_proxy=1&_wv=1&id=1546312839098426') driver.implicitly_wait(8) # ttt = driver.find_element_by_css_selector('//div').text # text = driver.find_element_by_id('app').text # driver.implicitly_wait(3) print('结果::::::::::::' + driver.page_source) ```

想请教一下使用selenium请求网页和requests.get 获取网页的区别

最近刚开始学习selenium,想知道自己的理解对不对,使用selenium模拟登录网页的话可以直接去搜索网页检查里面出现的内容,是经json等文件渲染之后的网页,而requests获取的网页是网页源代码?是这样的区别吗 不知道自己的理解对不对。

python中用Selenium模拟登陆获取cookie。但是get_cookies成功过后浏览器就直接自动关闭,请问是什么原因

python中用Selenium模拟登陆获取cookie。但是get_cookies成功过后浏览器就直接自动关闭,请问是什么原因

【python】如何实现 request请求网页+selenium自动化操作?

需求是:打开网站的每一页进行selenium自动化操作,但网站的翻页是ajax动态加载,请问request访问后能配合selelnium在每一个页面自动操作点击填表等吗? ps:现在用selenium自动点击下一页的效率很慢,so请教大神更方便的方法 ![图片说明](https://img-ask.csdn.net/upload/201907/23/1563859338_499865.jpg)

如何使用selenium获取点击某个按钮后post出的数据?

图片中的General数据![图片说明](http://forum.csdn.net/PointForum/ui/scripts/csdn/Plugin/001/face/5.gif)![图片](https://img-ask.csdn.net/upload/201511/15/1447589498_311096.jpg)

python 怎么获取request 中 body的内容

python 怎么获取request 请求中 body的内容? 谢谢 就是红框中的内容 ![图片说明](https://img-ask.csdn.net/upload/201905/10/1557479798_54096.png) 这是工具里模拟发送的,上图红框中的内容,是写在下面request body里的东西 ![图片说明](https://img-ask.csdn.net/upload/201905/10/1557479812_304027.png) 但是在python里模拟请求时,因为有ud的值是每次登陆时都变一次。 所以想怎么能在它本身发送request时把body里的内容保存下来。 这样就可以取出里面的ud值 使用 这样不知道我表述明白没。我也是在学习阶段。希望指教

python 自动获取网页异步包请求(ajax数据)

![浏览器中请求](https://img-ask.csdn.net/upload/201705/08/1494223696_42278.png) 其实就是想快速的抓评论,如果用selenium + phantomjs 也可以抓到评论,但是太慢了。 如果能自动拿到这些包信息或者链接的话,就可以分析了,有什么方法吗??

webdriver如何获取ajax加载出来的数据?

使用chrome webdriver 访问网页后,ajax能自动访问到数据,但是页面只会显示其中一部分,我想获取ajax返回的全部内容? 请问哪位大大能帮忙解决下???? Thanks♪(・ω・)ノ

python爬虫,使用selenium爬取某宝数据,爬虫代码能正常运行,但是控制台只打印了一个商品的信息

1、 环境:pycharm 浏览器:chrome 描述:使用selenium爬取某宝数据,爬虫代码能正常运行(可以对元素进行定位,可以下拉滑动条、可以通过修改url去到下一页),但是控制台只打印了一个商品的信息,其余爬取的信息没有被打印出来 2、代码如下: ``` """ 爬取淘宝商品步骤: 1、打开谷歌浏览器,访问淘宝网站:找到淘宝的 url 2、定位搜索框和搜索按钮(F12,使用元素选择器进行定位,复制 XPath),要完成的动作→输入要搜索的商品,然后点击搜索按钮 3、在登陆界面停留 10 秒,手机扫码登陆(需手动),高级一点的方法可以自送输入账号密码登陆 4、进入搜索结果页面,模仿人浏览商品时的动作→下拉滑动条到页面的最后,拉5次,拉的过程有暂停 """ from selenium import webdriver # 需要一款浏览器,访问淘宝网址 import time import re # 找到 输入框 找到 按钮 # 元素(输入框、按钮等) 定位 def search_product(): driver.find_element_by_xpath('//*[@id="q"]').send_keys(kw) driver.find_element_by_xpath('//*[@id="J_TSearchForm"]/div[1]/button').click() # # 强行阻止程序运行 10s的时间 time.sleep(5) # 获取搜索结果页面的总页码 token = driver.find_element_by_xpath('//*[@id="mainsrp-pager"]/div/div/div/div[1]').text token = int(re.compile('(\d+)').search(token).group(1)) return token # 元素定位 他没有前提吗?你的网速比较慢,如果元素没有加载完毕,那么你能够去定位没有加载的数据吗?没有加载出来 # 也就是说,这个加载的过程 是因为我拉动了下滑条! # 步骤:登录 拉动下滑条 采集数据 下一页 拉动下滑条 再采集数据,按这个循环! def drop_down(): # 一次拉一部分,拉的时候有暂停 range 得出 1 3 5 7 9 五个数 for x in range(1, 11, 2): time.sleep(0.5) # j 代表滑动条的五个位置:1/10、3/10、5/10、7/10、9/10 j = x/10 # 下面的 js 是 JavaScript 的语法,可以当作万能公式解决大部分网站问题 js = 'document.documentElement.scrollTop = document.documentElement.scrollHeight * %f' % j driver.execute_script(js) def get_product(): # 首先获取所有的 div ,然后遍历所有的 div ,得到一个div 再去一个 div 里面寻找需要的数据 # // 代表任意位置(任意一个位置的属性属于 class="items" 的 div) # //div[@]/div[@] 代表要获取的 div 的路径 divs = driver.find_elements_by_xpath('//div[@class="items"]/div[@class="item J_MouserOnverReq item-ad "]') for div in divs: # . 代表当前目录, .// 当前目录下的任意 div标签 下的 a标签 下的 img标签 下的 src info = div.find_element_by_xpath('.//div[@class="row row-2 title"]').text price = div.find_element_by_xpath('.//div[@class="price g_price ' 'g_price-highlight"]/strong').text + '元' deal = div.find_element_by_xpath('.//div[@class="deal-cnt"]').text image = div.find_element_by_xpath('.//div[@class="pic"]/a/img').get_attribute('src') # name = div.find_element_by_xpath('.//div[@class="shop"/a/span[1]').text address = div.find_element_by_xpath('.//div[@class="row row-3 g-clearfix"]/div[@class="location"]').text # 定义一个字典 product = {'标题': info, '价格': price, '订单量': deal, '图片': image, '地址': address} print(product) # 淘宝的反爬很严重,所以尽量不要模拟多次点击下一页 # 采用改 url 的方法可以避免反爬:通过分析淘宝页面的 url→https://s.taobao.com/search?q=Python&s=88 # 可以得知下一页就是在 url 后面的值 +44。即第4页的 url 为 https://s.taobao.com/search?q=Python&s=132 def next_page(): token = search_product() drop_down() get_product() num = 1 while num != token: driver.get('https://s.taobao.com/search?q={}&s={}'.format(kw, 44*num)) num += 1 # time.sleep(4) 。这个方法延迟太慢了,改用下面的只能等待方法 # 隐视等待,智能等待,最高等待时间为10s,如果超过10s,抛出异常 driver.implicitly_wait(10) # 无限循环进入网页,可能造成网页卡顿!导致数据加载不出来,解决方法是加一个延迟,等数据先加载出来再操作 drop_down() get_product() if __name__ == '__main__': kw = input('请输入你想查询的商品:') driver = webdriver.Chrome() driver.get('https://www.taobao.com/') next_page() # 这个程序可以无限制地爬取内容,淘宝无法检测出来而反爬 ``` 3、代码能正常运行,打印信息如下: ![图片说明](https://img-ask.csdn.net/upload/202003/28/1585363085_99864.jpg) 4、求各位大神帮忙解决一下T-T

python爬虫如何自动获取Network中的某个XHR地址?

需要获取机场航班数据 该机场的url地址https://zh.flightaware.com/live/airport/KHRL 其航班数据是动态加载进来的,通过F12并刷新后得到 https://zh.flightaware.com/ajax/ignoreall/trackpoll.rvt?token=c35ca45ecbca57cd1ea443d1c65c36426ea06630de026ffd737977e4a40a26ead614b3f2ddde9907453c214a859f7965-88dd7c1a0d41355dafa2ce4ff0e607704b11c422c13281778f5b552d40a619d4c5559546eb9966e7-501878875ac23bacc59c19453f7939a79b200f0e&locale=zh_CN&summary=0 ![图片说明](https://img-ask.csdn.net/upload/201808/25/1535186176_815152.png) 现在的问题是我有数千个机场的url地址,手动F12找到每个机场的航班地址是无法想象的,所以有没有方法自动获得每个机场请求航班数据的那个URL? 万望大神有空瞅瞅!感谢!

scrapy用selenium 键入关键字得到一个列表页面 需要循环点击列表获取详情 这种场景怎么处理?

补充 1. 浏览器的初始化工作放在哪块? 2. 是多个request共同操作一个浏览器么?

python爬取动态网址时如何获取发送的参数

有个网址是动态的,我需要爬取的数据存储在json数据格式中, 这个用json模块读取没毛病, 但是存在这么一个问题,就是向这个数据url提交访问请求时, 有加密的参数,比如queryID,serverIP,status这三个参数,删去这几个参数去访问是被对方服务器禁止的, 而且通过正常浏览器访问的话,这个页面会在一分钟左右失效不可访问 去找cookies,没在cookies中找到与这三个参数有关联,我没法构造出这个数据页面的url 想问问各位大牛,向某个网站请求的时候,这些动态的参数一般会存储在哪里?怎么获取这种动态添加的参数? 感激不尽! ![图片说明](https://img-ask.csdn.net/upload/201704/06/1491487040_282833.png) ![图片说明](https://img-ask.csdn.net/upload/201704/06/1491487055_236999.png)

怎么获取一个标签下面的全部子元素呢?python或者js来实现

页面结构大概是这样的,现在要获取<tbody>下面的所有<tr>子元素 <tbody> <tr class="grid-row row-right current up1"> <tr class="grid-row row-right current up2"> <tr class="grid-row row-right current up3"> <tr class="grid-row row-right current up4"> </tbody> 用的Robot Framwork框架,如果能用python实现就好了。

webdriver如何获得已打开网页代码

使用webdriver都是用这两行打开网页, 然后用webdriver操作网页源码 ``` driver = webdriver.Firefox() driver.get('http://www.baidu.com') ``` 如果,我手动在firefox打开一个网页, 然后webdrive该如何获得这个网页的代码呢??

在用selenium+chromdriver 解析动态网页时,出现无法解析出网页源码的问题

在写一个爬虫,本来用selenium+chromdriver可以解析出网页源码。今天重新跑爬虫, 发现出现,AttributeError: 'NoneType' object has no attribute '****' 的问题,查看 变量发现网页源码解析出错,想问一下为什么出现这样的问题?

selenium爬虫淘宝报错:Screenshot: available via screen

代码如下: ``` from selenium import webdriver from lxml import etree import time import xlwt driver = webdriver.PhantomJS() #实例化游览器 driver.maximize_window() #窗口最大化 linkss = [] def get_info(url,page): #定义获取商品信息的函数 page = page + 1 driver.get(url) driver.implicitly_wait(10) #隐式等待10秒 selector = etree.HTML(driver.page_source) #请求网页源代码 infos = selector.xpath('//div[@class="item J_MouserOnverReq "]') for info in infos: jiage = info.xpath('div[2]/div[1]/div[1]/strong/text()') good = info.xpath('div[2]/div[1]/div[2]/text()') name = info.xpath('div[2]/div[2]/a/text()') links = [jiage,good,name] linkss.append(links) if page <= 50: NextPage(url,page) #进入下一页 else: pass def NextPage(url, page): #定义进入下一页的函数 driver.get(url) driver.implicitly_wait(10) driver.find_element_by_xpath('//a[@trace="srp_bottom_pagedown"]').click() time.sleep(4) driver.get(driver.current_url) driver.implicitly_wait(10) get_info(driver.current_url,page) #调用get_info函数 if __name__ == '__main__': #程序主入口 page = 1 url = 'https://www.taobao.com/' driver.get(url) driver.implicitly_wait(10) driver.find_element_by_id('q').clear() driver.find_element_by_id('q').send_keys('男士短袖') #输入商品名称 driver.find_element_by_class_name('btn-search').click() #点击搜索 get_info(driver.current_url,page) headers = ['价格', '购买人数', '商品名称'] #创建表头 taobao = xlwt.Workbook(encoding='utf-8') #创建工作簿 sheet = taobao.add_sheet('Sheet1') #创建工资表 for h in range(len(headers)): #写入表头 sheet.write(0, h, headers[h]) i = 1 for link in linkss: #写入数据 j = 0 for data in link: sheet.write(i, j, data) j += 1 i += 1 taobao.save('t.xls') #保存到本地 ``` 报错: ``` Traceback (most recent call last): File "D:/PaaChong/TaoBao.py", line 44, in <module> get_info(driver.current_url,page) File "D:/PaaChong/TaoBao.py", line 23, in get_info NextPage(url,page) #进入下一页 File "D:/PaaChong/TaoBao.py", line 30, in NextPage driver.find_element_by_xpath('//a[@trace="srp_bottom_pagedown"]').click() File "D:\Python3.8.1\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 258, in find_element_by_xpath return self.find_element(by=By.XPATH, value=xpath) File "D:\Python3.8.1\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 711, in find_element return self.execute(Command.FIND_ELEMENT, File "D:\Python3.8.1\lib\site-packages\selenium\webdriver\remote\webdriver.py", line 201, in execute self.error_handler.check_response(response) File "D:\Python3.8.1\lib\site-packages\selenium\webdriver\remote\errorhandler.py", line 181, in check_response raise exception_class(message, screen, stacktrace) selenium.common.exceptions.NoSuchElementException: Message: {"errorMessage":"Unable to find element with xpath '//a[@trace=\"srp_bottom_pagedown\"]'","request":{"headers":{"Accept":"application/json","Accept-Encoding":"identity","Connection":"close","Content-Length":"119","Content-Type":"application/json;charset=UTF-8","Host":"127.0.0.1:59370","User-Agent":"Python-urllib/3.8"},"httpVersion":"1.1","method":"POST","post":"{\"using\": \"xpath\", \"value\": \"//a[@trace=\\\"srp_bottom_pagedown\\\"]\", \"sessionId\": \"566c2c60-9ccd-11ea-b689-cbd2ca6c443c\"}","url":"/element","urlParsed":{"anchor":"","query":"","file":"element","directory":"/","path":"/element","relative":"/element","port":"","host":"","password":"","user":"","userInfo":"","authority":"","protocol":"","source":"/element","queryKey":{},"chunks":["element"]},"urlOriginal":"/session/566c2c60-9ccd-11ea-b689-cbd2ca6c443c/element"}} Screenshot: available via screen ```

F12查看的内容和网页获取的内容不一样

用谷歌浏览器F12查看网页请求 这是一个注册请求的返回报文内容,是json格式内容:{IsSuccess: true}。 ![图片说明](https://img-ask.csdn.net/upload/201810/25/1540473841_82238.png) 但是页面弹出错误提示: ![图片说明](https://img-ask.csdn.net/upload/201810/25/1540474036_958935.png) 我不知道这个错误提示的内容是从哪里获取的,通过F12没有看到请求返回的错误内容。 所以,想问是不是网页能够从其他地方获取请求内容,或者是F12查看不到的?

抓取某软件数据请求及返回的数据格式

进入软件后点击最下面的行情,在新的页面中点击中间精选版块最右边的更多,要求提供新页面 精选,行业,概念,地区的数据请求(http://)及返回的数据格式,谢谢。 软件下载地址:https://www.kaipanla.com

求selenium.common.exceptions.StaleElementReferenceException: Message: stale element reference: element is not attached to the page document解决办法

``` from selenium import webdriver import time class DouyuSpider: def __init__(self): self.start_url = "https://www.douyu.com/directory/all" self.driver = webdriver.Chrome() def get_content_list(self): li_list = self.driver.find_elements_by_xpath("//div[@class='layout-Module-container layout-Cover ListContent']/ul/li") content_list = [] for li in li_list: item = {} item["room_title"] = li.find_element_by_xpath(".//h3").text item["room_img"] = li.find_element_by_xpath(".//img[@class='DyImg-content is-normal']").get_attribute("src") item["anchor_name"] = li.find_element_by_xpath(".//h2").text item["watch_num"] = li.find_element_by_xpath(".//span[@class='DyListCover-hot']").text item["room_cate"] = li.find_element_by_xpath(".//span[@class='DyListCover-zone']").text print(item) def run(self): # 1.start_url # 2.发送请求,获取响应 self.driver.get(self.start_url) # 3.提取数据,提取下一页页的元素 self.get_content_list() if __name__ == '__main__': douyuspider = DouyuSpider() douyuspider.run() ```

2019 Python开发者日-培训

2019 Python开发者日-培训

150讲轻松搞定Python网络爬虫

150讲轻松搞定Python网络爬虫

设计模式(JAVA语言实现)--20种设计模式附带源码

设计模式(JAVA语言实现)--20种设计模式附带源码

YOLOv3目标检测实战:训练自己的数据集

YOLOv3目标检测实战:训练自己的数据集

java后台+微信小程序 实现完整的点餐系统

java后台+微信小程序 实现完整的点餐系统

三个项目玩转深度学习(附1G源码)

三个项目玩转深度学习(附1G源码)

初级玩转Linux+Ubuntu(嵌入式开发基础课程)

初级玩转Linux+Ubuntu(嵌入式开发基础课程)

2019 AI开发者大会

2019 AI开发者大会

玩转Linux:常用命令实例指南

玩转Linux:常用命令实例指南

一学即懂的计算机视觉(第一季)

一学即懂的计算机视觉(第一季)

4小时玩转微信小程序——基础入门与微信支付实战

4小时玩转微信小程序——基础入门与微信支付实战

Git 实用技巧

Git 实用技巧

Python数据清洗实战入门

Python数据清洗实战入门

使用TensorFlow+keras快速构建图像分类模型

使用TensorFlow+keras快速构建图像分类模型

实用主义学Python(小白也容易上手的Python实用案例)

实用主义学Python(小白也容易上手的Python实用案例)

程序员的算法通关课:知己知彼(第一季)

程序员的算法通关课:知己知彼(第一季)

MySQL数据库从入门到实战应用

MySQL数据库从入门到实战应用

机器学习初学者必会的案例精讲

机器学习初学者必会的案例精讲

手把手实现Java图书管理系统(附源码)

手把手实现Java图书管理系统(附源码)

极简JAVA学习营第四期(报名以后加助教微信:eduxy-1)

极简JAVA学习营第四期(报名以后加助教微信:eduxy-1)

.net core快速开发框架

.net core快速开发框架

玩转Python-Python3基础入门

玩转Python-Python3基础入门

Python数据挖掘简易入门

Python数据挖掘简易入门

微信公众平台开发入门

微信公众平台开发入门

程序员的兼职技能课

程序员的兼职技能课

Windows版YOLOv4目标检测实战:训练自己的数据集

Windows版YOLOv4目标检测实战:训练自己的数据集

HoloLens2开发入门教程

HoloLens2开发入门教程

微信小程序开发实战

微信小程序开发实战

Java8零基础入门视频教程

Java8零基础入门视频教程

相关热词 c# 解析cad c#数字格式化万 c#int转byte c#格式化日期 c# wpf 表格 c# 实现ad域验证登录 c#心跳包机制 c#使用fmod.dll c#dll vb 调用 c# outlook
立即提问
相关内容推荐