通过selenium写了个自动化脚本程序，从某网站上抓取网页信息，因数据量较大，而且要翻页，有1万页，需要执行100小时，执行过程中查找元素，点击会越来越慢，大约执行到30小时左右，IE浏览器内存占用1G多，iedriverserver.exe占用600M，然后就挂了。感觉是内存撑爆了。不知道是不是selenium本身的bug啊，不支持长时间的测试？
0条回答 默认 最新
- 2022-04-13 18:16回答 1 已采纳 ele=driver.find_element_by_css_selector(div.imgfeedlist>a)url=ele.get_attribute('href')
- 2022-01-24 12:19回答 2 已采纳 xpath写错了
- 2022-06-20 15:20回答 2 已采纳 js的document.cookie只能获取没有标记为httponly的cookie。在浏览器中控制台输入document.cookie能正常显示这个cookie值能用下面的代码获取 _m_h5_tk
- 2020-09-18 13:52主要介绍了Python使用selenium + headless chrome获取网页内容的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
- 2021-10-24 09:44回答 1 已采纳 爬取内容不完整，应该是文档的更多内容，要往下滑动页面才会出现这个不太清楚，应该不是什么反爬，就是类似于中途给你弹出个广告，要具体分析怎么弄VIP内容肯定是需要你的账号是VIP才能看得到的，与selen
- 2021-11-29 10:17回答 3 已采纳 后来用fiddler everywhere 抓包搞定了。
- 2021-07-07 11:15回答 1 已采纳 参考一下：https://blog.csdn.net/u013250071/article/details/81911434 如果对你有帮助，可以点击我这个回答右上方的【采纳】按钮，给我个采纳吗，谢谢
- 2020-12-20 12:53准备工具：pyton3.5,selenium,phantomjs 我的电脑里面已经装好了python3.5 安装Selenium pip3 install selenium 安装Phantomjs 按照系统环境下载phantomjs,下载完成之后，将phantomjs.exe解压到python的script...
- 2022-05-23 09:55回答 1 已采纳 from datetime import datetime ##获取页面加载时间 a = datetime.now() url='http://192.168.1.199/' x=webdrive
- 2021-10-21 10:53回答 1 已采纳 句柄就是一个窗口的ID。倒数第三行就是切换driver窗口，句柄高低不太清楚，一般是后打开的窗口句柄处于最后一个（最高）划掉的代码你移到上面会有提示，估计是说这个方法即将被弃用，建议你使用另一个切换窗
- 2022-02-25 12:44回答 2 已采纳 使用last()定位最后 一个tr节点，再用索引获取。示例： from lxml import etree with open('a.html','r',encoding='utf-8') as f:
- 2023-05-26 11:06stella·的博客 今天我想要从某些图片网站拿些图片，但发现某些网站动态渲染图片，并不能利用普通的requests来进行拿取内容，那我们该怎么办呢？剩下在利用beautifulSoup进行裁剪获取到你想要获取到的内容就好了！这里我们使用...
- 2021-04-16 21:45回答 3 已采纳 这个需要延时获取 js_play_end = ''' var video = document.getElementById("video_html5_api"); var
- 2021-01-20 05:58例如有些页面元素很难获取，但是位置很固定，那么可以直接用坐标来进行操作 例如要对页面上的(x:200, y:100)进行操作，可以用如下代码： from selenium import webdriver from selenium.webdriver.common.action_...
- 2020-12-23 14:40学习Python selenium自动化网页抓取器
- 没有解决我的问题, 去提问
悬赏问题
- ¥35 平滑拟合曲线该如何生成
- ¥100 c语言，请帮蒟蒻写一个题的范例作参考
- ¥15 名为“Product”的列已属于此 DataTable
- ¥15 安卓adb backup备份应用数据失败
- ¥15 eclipse运行项目时遇到的问题
- ¥15 关于#c##的问题：最近需要用CAT工具Trados进行一些开发
- ¥15 南大pa1 小游戏没有界面，并且报了如下错误，尝试过换显卡驱动，但是好像不行
- ¥15 自己瞎改改，结果现在又运行不了了
- ¥15 链式存储应该如何解决
- ¥15 没有证书，nginx怎么反向代理到只能接受https的公网网站