Python爬虫，进去一个网页之后，想要跳转到这个网页的子网页爬取，但是必须通过主网页点击才能进去。

Question

上面是按F12得到的该网页进入“子网页”的函数，请问怎么处理才能进去“子网页”页面？（直接访问子网页网址会提示你要从主网页进去）

Answer 1

用浏览器的f12功能抓包看下。
一般来说“通过主网页点击才能进去”这个服务器是通过referer这个字段判断的，也就是拟提交的请求，包括
referer: 你的主页url
那么就可以骗过服务器，让它认为你是通过主网页点击进去的。
另一个就是，你传入的rand=xxx这个参数，要根据当前时间生成，而不能是死的。