Glaswen1020
2017-06-26 06:10scrapy formdata提交模拟点击下一页的参数 翻页失败
200大概是知道什么原因了,但是还是找不到办法,有哪位大神碰到过么。
遇到问题的这个系统的分页是用asp.net的分页控件写的,我看很多道友都遇到这个情况,但不知道是怎么解决的。
f12 看到的所有需要提交的参数,我也都带上了,但就是翻不了页。
————————————————————————————————————————————————————
拜托各位大神帮忙看看,实在是困扰在下许多天了。
小弟新人,用的是scrapy爬取一个系统的网页数据,在模拟点击下一页的时候卡住了。
这个系统分页跳转他用的不是url,而是提交参数的形式。
我代码里写的参数基本上和浏览器看到的一样,同样也用postman测试是完全可以跳转的。
但就是在代码里的就是怎么都跳转不了。
(简言之就是,和页面请求一样的参数,代码里不行,但是postman里面可以。)
我有猜测,会不会是response的问题,但无从去验证。
图一是我代码里写的要提交的参数。
图三,四是浏览器页面跳转下一页需要提交的参数。
图五是我用postman提交相同参数却可以模拟跳转。
- 点赞
- 回答
- 收藏
- 复制链接分享
3条回答
为你推荐
- scrapy + selenium抓取到的网易云页面不完整
- python
- 开发语言
- 1个回答
- 关于Scrapy 框架运行不出结果的问题,好像没有报错
- python
- 正则表达式
- 1个回答
- 如何使用带有Scrapy的admin-ajax.php从网站上抓取数据
- python
- ajax
- scrapy
- php
- 1个回答
- 什么相当于SCRAPY中的CURL
- php
- scrapy
- 1个回答
- Mac电脑pcharm创建scrapy框架总是失败?
- python
- 2个回答
换一换