公司有三百的不同的网站，前端代码的逻辑也不同。我需要写一个公共的python+selenium的脚本，可以对分别每个网站进行深度爬虫，获取所有的访问后端的request请求。请问这个问题可以实现吗？
我看网上的代码都是针对具体一个网站的爬虫，请问可以写一个通用的可以针对所有网站的爬虫吗？本人也是刚刚接触爬虫，谢谢大家了。
python+selenium实现所有网站爬取
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
- 2021-07-15 16:19回答 2 已采纳 就是判断下弹出框中的某些元素存不存在是吧？ 参考下：https://www.cnblogs.com/yoyoketang/p/6493005.html
- 2019-04-07 23:57回答 3 已采纳 https://blog.csdn.net/fnms88/article/details/82926051 直接代码如下： import autoit import unittest im
- 2021-11-11 16:19回答 1 已采纳 find_elements，通过找元素组可以实现，如： aa = driver.find_elements_by_xpath('//table/tbody/tr') for a in aa:
- 2023-05-09 16:22本文将深入探讨如何使用Python结合Selenium来爬取集团招聘网站的职位信息，并利用正则表达式进行数据过滤。 首先，Python是一种高级编程语言，以其简洁、易读的语法和丰富的库支持而闻名。在数据处理和网络爬虫领域...
- 2022-02-25 12:44回答 2 已采纳 使用last()定位最后 一个tr节点，再用索引获取。示例： from lxml import etree with open('a.html','r',encoding='utf-8') as f:
- 2021-04-13 08:54回答 3 已采纳 在browserdriver.execute_script('$arguments[0]).click()',btn) 的[0]后面多了个括号。改成：browserdriver.execute_scr
- 2023-04-19 12:15回答 2 已采纳 您可以使用 execute_script 方法来模拟滚动操作，将页面滚动到下一屏数据的位置，然后再进行截图。循环执行这个过程，直至页面所有数据都被截取到为止。下面是一个简单的示例代码： from se
- 在这个项目中，我们使用了Python结合Selenium和PyQuery来实现对1688网站商品详情页的图片和标题的爬取，并将图片进行下载和压缩。 Selenium是一个强大的浏览器自动化工具，它能够模拟真实用户的行为，如点击按钮、...
- 2022-05-23 09:55回答 1 已采纳 from datetime import datetime ##获取页面加载时间 a = datetime.now() url='http://192.168.1.199/' x=webdrive
- 2022-08-18 10:13回答 2 已采纳 assertEqual 是unittest.TestCase类的方法，因此您只能在从该类继承的对象上使用它,检查一下单元测试文档
- 2022-08-14 00:03回答 6 已采纳 是不是你定位节点错了，selenium找不到相应节点，我运行起来没反应导入from selenium.webdriver.chrome.service import Service可解决报错
- 2022-07-08 13:56！小白菜！y的博客 python+selenium+bs4爬取web of science的数据 获取相应关键词的数据 数据题目 数据连接 作者 日期 摘要 数据库名字 将数据保存到数据库中 在进行后续的数据处理
- 2021-10-21 18:00回答 1 已采纳 可以看到被选择了的a标签，会有不同的class。因此可以通过 css选择器选择class不一样的a标签，即代表被选中了。 当得到了相关的标签可以使用text()方法获取a标签的文字，在通过正则或者字
- 2020-09-17 14:06Selenium 是一个强大的Web应用程序测试框架，它支持多种编程语言，包括Python。它的工作原理是通过控制浏览器来执行各种操作，这些操作可以是导航、元素定位、交互等。Selenium 支持多种浏览器，如 Chrome、Firefox...
- 2018-06-22 16:09RunnerJxc的博客 Selenium 是一个用于Web应用程序测试的工具。它直接运行在浏览器中，模拟用户操作，就像真正的用户在操作一样。
- 没有解决我的问题, 去提问
问题事件
创建了问题
7月17日
悬赏问题
- ¥30 模拟电路 logisim
- ¥15 PVE8.2.7无法成功使用a5000的vGPU，什么原因
- ¥15 is not in the mmseg::model registry。报错，模型注册表找不到自定义模块。
- ¥15 安装quartus II18.1时弹出此error，怎么解决？
- ¥15 keil官网下载psn序列号在哪
- ¥15 想用adb命令做一个通话软件，播放录音
- ¥30 Pytorch深度学习服务器跑不通问题解决？
- ¥15 部分客户订单定位有误的问题
- ¥15 如何在maya程序中利用python编写领子和褶裥的模型的方法
- ¥15 Bug traq 数据包 大概什么价