最近我在用Python写网络爬虫，尝试爬取印度外交部的网站。爬虫模拟在搜索框内输入关键词，
然后获取搜索结果。有两个问题让我很头疼：一是在点击搜索后会发现网站同时使用了get和post方法向服务器发起请求，但是翻页后只剩post方法，我在代码中只使用post方法，也能成功获取到第一页的内容；二是网络爬虫只能获取第一页和第二页的内容，再往后翻页就是第二页内容的重复，这个问题一直没有解决。
希望有兴趣的朋友能够解答我的疑问，如果需要更多信息也请提出，感谢！
网络爬虫无法翻页的问题？
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
lyhsdy 2018-12-08 08:00关注网站有反爬，使用selenium来模拟打开网站爬取数据
https://blog.csdn.net/hiyun9/article/details/51328871解决 无用评论 打赏举报 分享
- 2021-07-04 16:59回答 2 已采纳 重点还是从网页上分析翻页的网址构造情况，即baseurl及请求的url要写准确,另外可能需要补充一些请求参数。
- 2021-12-18 19:23回答 1 已采纳 爬下一页就好了
- 2021-04-02 17:02回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
- 2021-01-14 09:24a2Mia姐的博客 1. 问题归纳搜索答案的过程中发现，关于爬虫中网页翻页的问题还是挺多的，各家由于网站数据规范性不一，遇到的问题也略有出入，主要有两大类，还有我遇到的这第三类：一是，网页静态加载，现象是每次翻页都提供一个...
- 2021-10-25 21:15回答 3 已采纳 用get请求, url里面有个start=200 就不需要在data参数中再设置start了应该是在url里面用f字符串设置start的值 i=200 url= f"https://movie.dou
- 2021-05-06 08:49回答 5 已采纳 代码中的allow_domains有误，应该为：['louqiuzw.com']。原链接会出现连接丢失错误，与没有传递headers或网页响应慢有关。尝试测试其他网页，在start_urls列出测试网
- 2021-10-24 09:44回答 1 已采纳 爬取内容不完整，应该是文档的更多内容，要往下滑动页面才会出现这个不太清楚，应该不是什么反爬，就是类似于中途给你弹出个广告，要具体分析怎么弄VIP内容肯定是需要你的账号是VIP才能看得到的，与selen
- 2020-11-25 13:25weixin_39712611的博客 当然，开发环境大家一写要安装完好，安装的插件比较多，如果上面代码大家进行出错的话，说明大家的开发环境有问题，或是少插件，或是版本号与插件不对应。 本人电脑上的Python版本是3.6.2,安装的pywin32也是3.6版本...
- 2023-02-27 15:28回答 3 已采纳 ..谢邀。页数有点多，就不跑完测了。报错是list index out of range,如果是在371页报的错，跟最后一页条数不够没啥关系。那首先317页和316页有啥区别？ 是317页就不够40条
- 2022-09-14 23:27回答 2 已采纳 import requests import re import json import time fh = open('测试写入.txt', 'a') for i in range(1, 20,
- 2022-08-16 16:50回答 2 已采纳 rows是行数，你改成10000，一次性爬完，不用翻页。
- 2021-03-06 17:04神经脱臼的博客 目标网站：http://beijing.chineseoffice.com.cn/Template/office_complete.html当查看网页源码时，没有各楼信息，实际写在JS里，包括翻页功能。Chrome的developer tool查看网络包信息： 上代码：url = ...
- 2021-05-18 10:19回答 3 已采纳 这是我之前写的，你看一下 # coding=utf-8 import requests import re import io import sys reload(sys) sys.setdefa
- 2020-12-03 03:33weixin_39807352的博客 import osfrom time import sleepimport fakerimport requestsfrom lxml import etreefake = faker.Faker()base_url = "http://angelimg.spbeen.com"def get_next_link(url):content = downloadHtml(url)...
- 2021-02-04 06:24weixin_39856055的博客 自动翻页分为两种情况：此处所举例子有一定的时效性，请具体情况具体分析，方法类似(1)一种是像我之前爬虫新京报网的新闻，下一页的url可以通过审查元素获得，第一页的网址是...下一页按钮的审查元素是我们通过获取next...
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 乘性高斯噪声在深度学习网络中的应用
- ¥15 运筹学排序问题中的在线排序
- ¥15 关于docker部署flink集成hadoop的yarn，请教个问题 flink启动yarn-session.sh连不上hadoop，这个整了好几天一直不行，求帮忙看一下怎么解决
- ¥30 求一段fortran代码用IVF编译运行的结果
- ¥15 深度学习根据CNN网络模型，搭建BP模型并训练MNIST数据集
- ¥15 C++ 头文件/宏冲突问题解决
- ¥15 用comsol模拟大气湍流通过底部加热（温度不同）的腔体
- ¥50 安卓adb backup备份子用户应用数据失败
- ¥20 有人能用聚类分析帮我分析一下文本内容嘛
- ¥30 python代码，帮调试，帮帮忙吧