scrapy 想实现爬取下一页的功能,但是”下一页“按钮并没有指向一个href。想请教如何实现爬取到下一页的功能
网址:https://chl.cn/?lishi
python scrapy爬虫如果想要下一页但是没有href
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
关注 你要模拟参数,具体代码如下:
import http.client conn = http.client.HTTPSConnection("chl.cn") #page 5 #submit 下一页 payload = 'page=5&submit=%E4%B8%8B%E4%B8%80%E9%A1%B5&str=' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9', 'Host': 'chl.cn', 'Connection': 'keep-alive', 'Content-Type': 'application/x-www-form-urlencoded' } conn.request("GET", "/?lishi", payload, headers) res = conn.getresponse() data = res.read() print(data) print(data.decode("utf-8"))
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 1无用
悬赏问题
- ¥15 javaweb项目无法正常跳转
- ¥15 VMBox虚拟机无法访问
- ¥15 skd显示找不到头文件
- ¥15 机器视觉中图片中长度与真实长度的关系
- ¥15 fastreport table 怎么只让每页的最下面和最顶部有横线
- ¥15 R语言卸载之后无法重装,显示电脑存在下载某些较大二进制文件行为,怎么办
- ¥15 java 的protected权限 ,问题在注释里
- ¥15 这个是哪里有问题啊?
- ¥15 关于#vue.js#的问题:修改用户信息功能图片无法回显,数据库中只存了一张图片(相关搜索:字符串)
- ¥15 texstudio的问题,