Glaswen1020 2017-06-26 06:10 采纳率: 0%
浏览 3267
已结题

scrapy formdata提交模拟点击下一页的参数 翻页失败

大概是知道什么原因了,但是还是找不到办法,有哪位大神碰到过么。
遇到问题的这个系统的分页是用asp.net的分页控件写的,我看很多道友都遇到这个情况,但不知道是怎么解决的。
f12 看到的所有需要提交的参数,我也都带上了,但就是翻不了页。
————————————————————————————————————————————————————
拜托各位大神帮忙看看,实在是困扰在下许多天了。
小弟新人,用的是scrapy爬取一个系统的网页数据,在模拟点击下一页的时候卡住了。
这个系统分页跳转他用的不是url,而是提交参数的形式。
我代码里写的参数基本上和浏览器看到的一样,同样也用postman测试是完全可以跳转的。
但就是在代码里的就是怎么都跳转不了。
(简言之就是,和页面请求一样的参数,代码里不行,但是postman里面可以。)
我有猜测,会不会是response的问题,但无从去验证。
图一是我代码里写的要提交的参数。
图三,四是浏览器页面跳转下一页需要提交的参数。
图五是我用postman提交相同参数却可以模拟跳转。
图片说明
图片说明
图片说明
图片说明
图片说明

  • 写回答

2条回答 默认 最新

  • malcolm0826 2017-06-27 06:32
    关注

    看你这提交的参数 这个分页应该是asp.net的分页控件写的
    你应该还有个隐藏的参数没有提交
    我之前也碰到过
    最后改成了换成selenium 直接模拟点击
    希望可以帮到你

    评论

报告相同问题?

悬赏问题

  • ¥15 c语言怎么用printf(“\b \b”)与getch()实现黑框里写入与删除?
  • ¥20 怎么用dlib库的算法识别小麦病虫害
  • ¥15 华为ensp模拟器中S5700交换机在配置过程中老是反复重启
  • ¥15 java写代码遇到问题,求帮助
  • ¥15 uniapp uview http 如何实现统一的请求异常信息提示?
  • ¥15 有了解d3和topogram.js库的吗?有偿请教
  • ¥100 任意维数的K均值聚类
  • ¥15 stamps做sbas-insar,时序沉降图怎么画
  • ¥15 买了个传感器,根据商家发的代码和步骤使用但是代码报错了不会改,有没有人可以看看
  • ¥15 关于#Java#的问题,如何解决?