python爬取页面数据错误，连续爬很多页数。我主要改变的是post里面的参数pageno

爬数据的时候，比如有800页数据要爬，爬到400多页会出现返回400错误，没有数据。但是如果将程序从400页到800再重新爬，又不会报错。
求解决方法

写回答
好问题 0 提建议
追加酬金
关注问题
分享
邀请回答
编辑收藏删除结题
收藏举报

报告相同问题？

关注问题

python爬虫翻页爬取的数据是第一页的重复数据 python 爬虫问答团队
2021-12-18 19:23

回答 1 已采纳爬下一页就好了
python爬取ashx页面的post请求 python
2018-03-18 06:59

回答 2 已采纳这个网站有多一层东西，你可以这么干。先请求http://www.lzggzyjy.cn/InfoPage/InfoList.aspx?SiteItem=8 然后用正则找到然后请求这个/aja
python 爬虫 post请求返回的数据不全，和postman模拟的不一样，关键内容是个空列表 python 有问必答爬虫
2021-09-08 11:50

回答 2 已采纳经过实际测试，该站对 refer和 origin 没有验证，却验证了 content-type，你在header里加上content-type就可以了 import requests impor
python爬取多页数据_Python 爬虫爬取多页数据
2020-12-04 09:20

weixin_39754603的博客但是，按照常规的爬取方法是不可行的，因为数据是分页的：最关键的是，不管是第几页，浏览器地址栏都是不变的，所以每次爬虫只能爬取第一页数据。为了获取新数据的信息，点击F12，查看页面源代码，可以发现数据是...
Python selenium的爬虫无法完整爬取整个页面的内容 python selenium 爬虫
2021-10-24 09:44

回答 1 已采纳爬取内容不完整，应该是文档的更多内容，要往下滑动页面才会出现这个不太清楚，应该不是什么反爬，就是类似于中途给你弹出个广告，要具体分析怎么弄VIP内容肯定是需要你的账号是VIP才能看得到的，与selen
Python爬虫 XPath 爬取的数据为空 python
2021-11-20 15:43

回答 2 已采纳
PYTHON 爬取金十数据点击加载更多后返回的网页打不开报错 502 python
2019-08-11 16:38

回答 1 已采纳不要用urllib了吧，用requests库，就一个字，爽，操作简单，API简洁，用pip安装一下，用了之后保证你不会再用urllib 502出错，是因为headers需要两个参数 "
python多页爬取page_Python 爬虫 2 爬取多页网页
2020-11-22 16:24

weixin_39630498的博客本文内容：Requests.get爬取多个页码的网页例：爬取极客学院课程列表爬虫步骤打开目标网页，先查看网页源代码get网页源码找到想要的内容，找到规律，用正则表达式匹配，存储结果Requests 收录了 python 的第三方http...
python 爬取表格获取不到数据 python
2020-02-17 22:52

回答 4 已采纳爬取需要在请求头里面添加Host，要不然爬取不到任何信息，另外源码是不规则的html代码，所以需要指定html解析器 ``` # -*- coding：utf-8 -*- import os
Python requests.post方法爬取携程酒店获取不到数据 python
2021-07-28 11:42

回答 3 已采纳我猜请求头里面一定有数据是动态变化的，并且要做验证，你得知道它是如何加密的那些数据~
如何使用python爬取canvas中的内容呢？ css javascript python
2022-04-29 10:30

回答 1 已采纳需要在浏览器上临时显示后端实时处理的图像，需要将图像数据转成json字符串传输给js绘图。后端python处理： import cv2 as cvfrom encodings import base
python爬虫教程：基于Python的Post请求数据爬取的方法详解
2020-03-06 21:59

程序员浩然的博客这篇文章主要介绍了基于Python的Post请求数据爬取的方法,需要的朋友可以参考下为什么做这个和同学聊天，他想爬取一个网站的post请求观察该网站的post请求参数有两种类型：（1）参数体放在了query中，即url拼接...
Python爬虫配合VPN爬取出现报错 python 爬虫
2021-12-22 17:33

回答 1 已采纳你这个是VPN代理问题，你可以将VPN设置成部分代理，不要全部代理你的网络。
python爬虫：爬取动态网页并将信息存入MySQL数据库
2020-10-29 16:34

不懂一休的博客目标网站 ...爬取网页该部分内容 ...接下来分析数据来源，切换到Headers可以查看到 url,请求方法为 POST以及 Form Data Request URL: http://www.neeq.com.cn/disclosureInfoController/infoResult.do?c
【新人推荐】Python爬取巨潮资讯网指定PDF
2023-10-29 18:32

快被笑死的博客由于会计、金融等毕业论文数据需要爬取数据，这里教大家怎么批量简单爬取巨潮咨询网指定的PDF。该例子为获取对应股票对应年份带有“董事会”与“决议会议”的PDF。至此，所有的PDF都已下载到PDF目录下，请读者依据...
没有解决我的问题, 去提问

悬赏问题

¥15 基于卷积神经网络的声纹识别
¥15 Python中的request，如何使用ssr节点，通过代理requests网页。本人在泰国，需要用大陆ip才能玩网页游戏，合法合规。
¥100 为什么这个恒流源电路不能恒流？
¥15 有偿求跨组件数据流路径图
¥15 写一个方法checkPerson，入参实体类Person，出参布尔值
¥15 我想咨询一下路面纹理三维点云数据处理的一些问题，上传的坐标文件里是怎么对无序点进行编号的，以及xy坐标在处理的时候是进行整体模型分片处理的吗
¥15 CSAPPattacklab
¥15 一直显示正在等待HID—ISP
¥15 Python turtle 画图
¥15 stm32开发clion时遇到的编译问题

码龄粉丝数原力等级 --

python爬取页面数据错误，连续爬很多页数。我主要改变的是post里面的参数pageno

0条回答默认最新

悬赏问题

python爬取页面数据错误，连续爬很多页数。我主要改变的是post里面的参数pageno

0条回答 默认 最新

悬赏问题

0条回答默认最新