我想使用Python抓取一个需要翻页的网页所有数据，但换页时URL不变，我想找到换页
的接口，通过接口访问下一页的数据。请问怎样分析？
http://www.szairport.com/frontapp/HbxxServlet?iscookie=C
如何使用Python抓取翻页网页的数据
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
关注不知道你这个问题是否已经解决, 如果还没有解决的话:- 这篇文章：python 抓取异常及异常的释义 也许有你想要的答案，你可以看看
如果你已经解决了该问题, 非常希望你能够分享一下解决方案, 写成博客, 将相关链接放在评论区, 以帮助更多的人 ^-^解决 无用评论 打赏举报 分享
- 2021-04-21 08:19回答 7 已采纳 这个长的字符串, 前面后面各加一个[ ], 就成了'[[],[]]'' 这种格式, 可以用eval()再转换一下, 就成了[[],[]] 可以生成数组或者dataframe,dataframe可转成
- 2021-12-18 19:23回答 1 已采纳 爬下一页就好了
- 2021-07-04 16:59回答 2 已采纳 重点还是从网页上分析翻页的网址构造情况，即baseurl及请求的url要写准确,另外可能需要补充一些请求参数。
- 2020-05-04 21:36其实还好啦的博客 五一假期，研究了下Python抓取动态网页信息的相关操作，结合封面的参考书、网上教程编写出可以满足需求的代码。由于初涉python，过程中曲折很多，为了避免以后遇到问题找不到相关的信息创建本文。 准备工具： ...
- 2023-02-13 09:35回答 4 已采纳 使用stream参数和iter_content方法 s="" resp=requests.get(url,stream=True) print(resp.headers) for chunk in r
- 2021-10-14 16:59回答 1 已采纳 串口不是以太网数据包，它不保证完整的你要写while循环不停的读啊，没有数据的时候也要读可以加个判断，连续多少次或多长时间没有数据回来，或者数组已经太长了，那么之前的数据就可以集中处理一下-=-=-=
- 2015-11-01 11:55回答 2 已采纳 python3 +. 需要安装urllib3. 你也可以试试，直接转换成gb2312.下面的代码亲测可用。 ``` http = urllib3.PoolManager() r=
- 2021-12-16 21:09运维开发故事的博客 当然，爬取之前请自行诊断是否遵循君子协议，遵守就爬不了数据 查看robots协议只需要在域名后缀上rebots.txt即可 例如： 1. 目标 URL:http://app.mi.com/category/15 获取“游戏”分类的所有APP名称、简介、...
- 2020-08-08 18:39回答 1 已采纳 ``` import os from concurrent.futures import ThreadPoolExecutor from time import perf_counter
- 2021-08-07 13:04回答 3 已采纳 你可以用time模块进行计时，每过10分钟先用os.system()重新打开程序，然后调用sys.exit()关闭旧进程如果有用，希望采纳哦~
- 2022-05-15 17:06回答 2 已采纳 修改代码并直接用了给的数据后， 生成了render.html， 浏览器打开显示出来的数据是正常的猜测可能是notebook导致的bug 测试结果代码如下： from pyecharts.charts
- 2019-04-22 17:10Python爬虫抓取网页新闻数据到sqlserver数据库，按标题排除重复项，python3.7运行环境
- 2019-05-07 20:14回答 1 已采纳 首先，在常规头部获取请求的url，然后查看请求方法，获取请求状态，如果是失败，就说明不是这个。 然后，请求头部，将所有的headers放到requests的headers参数里面(可以包含cooki
- 2021-01-20 04:23先上一张代码及代码运行后的输出结果的图！ 下面上代码： # coding=utf-8 import os import time from selenium import webdriver ...#使用xpath进行多路径或多元素定位,用法看官网http://selenium-python.readthe
- 2020-12-26 05:56今天要抓取的一个网站叫做微医网站，地址为 https://www.guahao.com ，我们将通过python3爬虫抓取这个网址，然后数据存储到CSV里面，为后面的一些分析类的教程做准备。本篇文章主要使用的库为pyppeteer 和 pyquery ...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 对于相关问题的求解与代码
- ¥15 ubuntu子系统密码忘记
- ¥15 信号傅里叶变换在matlab上遇到的小问题请求帮助
- ¥15 保护模式-系统加载-段寄存器
- ¥15 电脑桌面设定一个区域禁止鼠标操作
- ¥15 求NPF226060磁芯的详细资料
- ¥15 使用R语言marginaleffects包进行边际效应图绘制
- ¥20 usb设备兼容性问题
- ¥15 错误(10048): “调用exui内部功能”库命令的参数“参数4”不能接受空数据。怎么解决啊
- ¥15 安装svn网络有问题怎么办