我是指什么呢？是指你打开一个网页之后，这个网页每隔一段时间就会给你发送一个文件，我并不太了解Python如何针对这种网页进行爬取，因为他是不停的向浏览器发送信息，如何让Python持续接收从服务器发来的新请求？
1条回答 默认 最新
threenewbee 2019-07-20 15:36关注不知道你说的是什么，是服务器主动推送还是客户端不断轮询。前者需要用websocket建立连接获取数据，或者你的程序定时去get就好。
另外建议你用webdrive，也就是用浏览器的内核去访问网页，获取数据，这样对于比较复杂的网页，可以写起来比较简单
解决 无用评论 打赏举报
分享
- 2020-05-06 14:58例如，在爬取深圳市规划和自然资源局的公示源码时，我们可以先导入`requests`库，然后通过`get()`函数发送GET请求： ```python import requests response = requests.get('http://公示网址') ``` 获取到网页内容...
- 2020-08-18 11:21python3代码，包含了处理post请求爬取网页数据代码，注释部分包括对json数据的处理。如果有疑问，随时扣me *-*
- 2021-09-29 04:56本文将深入探讨如何使用Python爬取高校导师的主页信息，帮助学生或研究人员更有效地筛选和选择合适的指导老师。 首先，我们需要了解Python爬虫的基本框架。Python中常用的爬虫库有BeautifulSoup、Scrapy和Requests...
- 2023-07-26 13:21需要注意的是，使用Python爬取淘宝商品价格时，应该遵循以下几点： 遵守相关网站的使用规定和政策，尊重网站的隐私和版权。 使用合适的请求头信息，模拟浏览器行为，避免被网站防爬机制识别为爬虫。 处理网页解析的...
- 2025-04-02 11:27总结而言，Python爬取网站图片的过程涉及到网络请求的发送、HTML内容的解析、图片资源的提取以及本地存储等关键步骤。掌握这些基础知识，配合各种工具库的使用，可以有效地完成对网站图片资源的自动化采集工作。在此...
- 2024-05-31 01:01使用Python爬取网页内容，通常可以使用requests库来发送HTTP请求，以及BeautifulSoup库来解析HTML文档。以下是一个简单的示例，展示如何使用这两个库来爬取网页内容 这个示例首先发送一个GET请求到指定的URL，然后...
- 2023-05-29 15:27程序员源源的博客 如何用Python爬取网页数据，Python爬取网页详细教程
- 2023-06-24 21:53小敢摘葡萄的博客 大家好，本文将围绕python怎么爬取网站所有网页展开说明，如何用python爬取网页数据是一个很多人都想弄明白的事情，想搞清楚python如何爬取网页数据需要先了解以下几个事情。
- 2021-11-10 15:49总结起来，"python爬取携程网评论.zip"项目涵盖了Python网络爬虫的基本流程：发送HTTP请求获取网页，解析HTML提取所需信息，处理分页，数据清洗与存储。这个过程既锻炼了Python编程技能，也提升了数据分析的能力，是...
- 没有解决我的问题, 去提问
