直接访问数据接口，就会出现无该页面（如下图），如何利用selenium实现 定时 自动爬取网页数据的功能呢，数据是封装在动态网页中的，selenium模拟点击，可是cookie这些该怎末获得呢，一段时间后，cookie会失效，那就不能做到完全自动爬虫，脑袋疼TuT
2条回答 默认 最新
- 2022-03-11 17:52回答 2 已采纳 re模块，正则表达式，split切分
- 2022-08-17 17:07回答 3 已采纳 因为元素里的你要的内容是通过 ajax 请求动态加载的，可以浏览器抓包去看下，你想要的这条数据到底是哪个请求返回的，找到真正的请求，然后模拟发送就行了
- 2021-11-11 11:15回答 1 已采纳 先确定需要爬取的网站，然后分析网站的数据来源，是后端生成数据还是ajax生成数据，确定数据来源方式就根据HTTP请求编写代码，这个涉及一些请求参数的加密、转换等等处理，然后清洗数据和数据入库
- 2023-11-15 12:55+++.的博客 python爬取网站数据，作为后端数据。
- 2022-10-18 21:52回答 1 已采纳 图片是从cdn上过来的，做了防盗链。在headers中添加Refer，指向该网站就行了。 import re import requests import os if not os.path.ex
- 2021-09-20 23:00回答 2 已采纳 没有指定打开方式写为with open("./Gldjc_Pandas.txt","w+") as fin:即可 有帮助望采纳~
- 2022-05-12 14:48回答 2 已采纳 这代码里面好多错误，你是怎么运行成功的？
- 2023-01-18 07:01本资源旨在基于Python语言使用网络爬虫爬取2019年高教社杯全国大学生数学建模竞赛优秀答题稿。 代码中使用到的第三方库有： os、shutil、pathlib、request、re、BeautifulSoup: os模块主要用来发送HTTP请求。 ...
- 2021-05-22 21:34回答 1 已采纳 这里我们以爬取淘宝评论为例子讲解一下如何去做到的。 这里主要分为了四步： 一 获取淘宝评论时，ajax请求链接（url） 二 获取该ajax请求返回的json数据 三 使用python解析js
- 2021-11-27 22:00回答 2 已采纳 你检查下这个网页中的内容是不是通过js代码读取外部json数据来动态更新的。requests只能获取网页的静态源代码，动态更新的内容取不到。对于动态更新的内容要用selenium 来爬取。 或者是通
- 2022-06-06 20:12回答 4 已采纳 你题目的解答代码如下： #coding=gbk import requests from io import BytesIO from PIL import Image from selenium
- 2023-08-19 14:44我开发了一个强大的Python后端爬虫系统，该系统具备以下主要功能： 网易新闻爬取：系统可以自动爬取网易新闻上的新闻内容，并将其保存到数据库中。用户可以通过系统提供的接口或界面，快速获取最新的新闻信息。 ...
- 2022-11-22 23:06回答 2 已采纳 news 数据获取错误 import requests import json url = 'https://www.ptpress.com.cn/newsInfo/getCurrentAffairs
- 2022-02-20 13:57【标题】：“携程网动态网页python爬虫代码恩施大峡谷”指的是使用Python编程语言编写的一段爬虫程序，专门用于抓取携程网关于恩施大峡谷的相关动态网页数据。爬虫是一种自动化工具，能够按照预设规则遍历互联网上的...
- 2021-10-14 05:59Python爬虫技术在IT行业中广泛应用于数据挖掘和自动化任务，特别是在网络视频资源的获取上。本项目专注于自动批量抓取m3u8网页视频，这是一个非常实用的技能，特别是对于那些需要收集网络视频数据的人来说。m3u8是一...
- 没有解决我的问题, 去提问
问题事件
系统已结题
11月14日
已采纳回答
11月6日-
创建了问题
11月3日
悬赏问题
- ¥15 Opencv（C++）异常
- ¥15 VScode上配置C语言环境
- ¥15 汇编语言没有主程序吗？
- ¥15 这个函数为什么会爆内存
- ¥15 无法装系统，grub成了顽固拦路虎
- ¥15 springboot aop 应用启动异常
- ¥15 matlab有关债券凸性久期的代码
- ¥15 lvgl v8.2定时器提前到来
- ¥15 qtcp 发送数据时偶尔会遇到发送数据失败？用的MSVC编译器(标签-qt|关键词-tcp)
- ¥15 cam_lidar_calibration报错