python爬虫遇到ajax页数访问限制

在爬取雪球网评论时遇到了一个问题,我们可以访问的页数是100页,但是这个网站存储的评论信息并不止100页的内容,我们想要获取更多页数的评论时遇到了问题

具体问题就是如下:

{
  "error_description": "请求页数超过限制",
  "error_uri": "/statuses/search.json",
  "error_code": "21306"
}

会以上错误,我根据报错的信息查询了一下,发现是属于“OAuth参数被拒绝”的问题,根据很多论坛上搜索到的问题,发现并没有得到解决。

希望技术大佬能够帮忙解决一下。谢谢!

1个回答

如果单单是Oauth这个角度来说的话, 应该是验证没通过,检查一下cookiesheaders是否有遗漏

qq_41733098
Spider boy 这方面我也考虑过,但是尝试了以后还是不太行。可以的话,我们可以qq交流一下么?我的qq:986361369
7 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!