python爬虫遇到ajax页数访问限制

Question

在爬取雪球网评论时遇到了一个问题，我们可以访问的页数是100页，但是这个网站存储的评论信息并不止100页的内容，我们想要获取更多页数的评论时遇到了问题

具体问题就是如下：

{
  "error_description": "请求页数超过限制",
  "error_uri": "/statuses/search.json",
  "error_code": "21306"
}

会以上错误，我根据报错的信息查询了一下，发现是属于“OAuth参数被拒绝”的问题，根据很多论坛上搜索到的问题，发现并没有得到解决。

希望技术大佬能够帮忙解决一下。谢谢！

Answer 1

如果单单是Oauth这个角度来说的话， 应该是验证没通过，检查一下cookies和headers是否有遗漏