为什么爬取B站视频的时候403

Question

为什么爬取B站视频的时候，在网页右键检查后状态码是403呢，问题出在哪里啊

Answer 1

在爬取B站视频时，如果你在网页右键检查（使用开发者工具查看网络请求）时发现返回的状态码是403（Forbidden），通常说明请求被服务器拒绝。导致这个问题的原因可能有以下几种：

1. User-Agent 被检测到：

   • 许多网站会检查请求头中的 User-Agent 字段，如果检测到请求是由爬虫程序发出的（而不是正常的浏览器请求），它们可能会拒绝访问，返回403状态码。
   • 解决办法是伪装爬虫的 User-Agent，使其看起来像是来自正常的浏览器。例如，使用Python的 requests 库时，可以这样设置：

     headers = {
         'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'
     }
     response = requests.get(url, headers=headers)
     

2. Referer 和其他请求头不完整：

   • B站可能还会检查请求中的 Referer、Cookies 等其他头部信息。如果这些信息不完整或缺失，也可能会返回403错误。
   • 你可以通过在开发者工具中查看浏览器发出的实际请求头，并在爬虫中尽量模拟这些请求头。

3. Cookies 或者 Session 失效：

   • B站可能需要登录或持有特定的会话（session）才能访问某些资源。如果你的请求没有携带正确的Cookies或者会话信息，可能会被拒绝访问。
   • 你可以通过手动登录后，获取浏览器的 Cookies 并在请求时携带，或者使用自动化工具（如Selenium）来模拟登录。

4. IP 地址被封禁：

   • 如果你频繁地爬取B站，可能会触发B站的反爬虫机制，导致你的IP地址被临时封禁，从而返回403错误。
   • 可以尝试降低请求频率，使用代理IP等手段来避免IP封禁。

5. 请求的URL不正确：

   • 如果请求的URL有误，特别是对于需要参数或签名的请求URL，服务器也可能返回403错误。
   • 确保URL的完整性和正确性，特别是需要带有签名、鉴权信息的URL。

通过以上方式，你可以尝试排查和解决B站爬虫过程中遇到的403问题。