如何通过API获取B站UP主信息？

Question

如何通过B站开放API稳定获取UP主的粉丝数、投稿视频列表及账号认证信息？常见问题包括：官方API权限限制导致数据无法完整获取，非公开接口易触发反爬机制引发IP封禁，JSON响应字段动态变化导致解析失败，以及OAuth2.0鉴权过程中access_token失效处理不当造成请求中断。此外，UP主主页采用异步加载，直接抓取HTML难以获取真实数据源。如何合理构造请求头、模拟合法用户行为，并结合逆向工程定位最新API端点，成为稳定采集的关键技术难点。

Answer 1

一、B站开放API数据采集的技术挑战与稳定实现路径

1. 初识B站数据生态：从公开文档到实际接口差异

B站官方提供了部分开放API（Open Platform API），主要面向开发者用于接入用户授权、视频播放等场景。然而，UP主的粉丝数、投稿列表及认证信息等核心数据并未完全通过官方文档暴露。例如，/x/space/acc/info 接口可获取账号基础信息，但需携带有效的Cookie或access_token。

常见误区是依赖HTML页面解析，但由于前端采用Vue/React异步渲染，真实数据来源于XHR/Fetch请求，直接抓取静态HTML将无法获取有效内容。

2. 定位真实数据源：逆向工程与浏览器调试技巧

通过Chrome DevTools的Network面板监控XHR请求，在访问UP主页时观察以下关键接口：

• 账号信息: https://api.bilibili.com/x/space/acc/info?mid=UID
• 粉丝数量: https://api.bilibili.com/x/relation/stat?vmid=UID
• 视频投稿列表: https://api.bilibili.com/x/space/wbi/arc/search?mid=UID

注意：WBI签名机制自2023年起全面启用，所有含WBI的接口必须生成正确sign参数，否则返回400错误。

3. 构造合法请求头：模拟用户行为的关键要素

为避免触发反爬机制，请求头应包含以下字段：

Header字段	示例值	作用说明
User-Agent	Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36	伪装浏览器环境
Referer	https://space.bilibili.com/UID	防止防盗链拦截
Origin	https://www.bilibili.com	CORS校验绕过
Cookie	SESSDATA=xxx; bili_jct=yyy	维持登录态（如需）
Accept	application/json, text/plain, */*	声明响应格式

4. OAuth2.0鉴权管理：access_token失效应对策略

B站OAuth2.0流程中，access_token通常有效期为7天，refresh_token为90天。需设计自动刷新机制：

import requests
def refresh_token(refresh_token):
    url = "https://passport.bilibili.com/api/v3/oauth2/refresh"
    data = {
        'refresh_token': refresh_token,
        'grant_type': 'refresh_token',
        'client_id': CLIENT_ID,
        'client_secret': CLIENT_SECRET
    }
    resp = requests.post(url, data=data)
    new_tokens = resp.json()
    return new_tokens['access_token'], new_tokens['refresh_token']
    

建议使用Redis缓存token并设置过期监听，实现无感续签。

5. 动态JSON字段处理：弹性解析与版本兼容方案

B站API响应结构频繁变更，如data.cards曾改为data.list.vlist。推荐采用如下策略：

1. 使用try-except多路径取值
2. 建立字段映射表进行版本路由
3. 引入JSON Schema校验+日志告警机制

示例代码：

def safe_get(data, *keys):
    for key in keys:
        try:
            data = data[key]
        except (KeyError, TypeError):
            return None
    return data
    

6. 反爬规避设计：频率控制与IP轮换架构

高频请求易导致412或IP封禁。建议实施：

• 请求间隔随机化（0.8~2秒）
• 使用代理池（HTTP/HTTPS/SOCKS5）
• 基于状态码动态降速（如429则退避指数增长）

Mermaid流程图展示请求调度逻辑：

graph TD
    A[发起请求] --> B{响应状态码}
    B -->|200| C[解析数据]
    B -->|412/429| D[记录失败IP]
    D --> E[切换代理]
    E --> F[延迟重试]
    F --> A
    C --> G[存储结果]
    

7. WBI签名逆向实现：获取最新加密参数

WBI签名由img_key和sub_key拼接生成，需定期从https://api.bilibili.com/x/web-interface/nav提取动态key。Python实现片段：

def get_wbi_sign():
    # 请求导航接口获取img_key & sub_key
    nav = requests.get("https://api.bilibili.com/x/web-interface/nav", headers=headers).json()
    img_key = nav['data']['wbi_img']['img_url'].split('/')[-1].replace('.png','')
    sub_key = nav['data']['wbi_img']['sub_url'].split('/')[-1].replace('.png','')
    real_key = img_key[:32] + sub_key[:32]
    return real_key
    

该密钥每小时可能更新，建议缓存并定时刷新。

8. 系统稳定性保障：监控、日志与容错机制

构建高可用采集系统需集成：

模块	技术选型	功能描述
日志系统	Sentry + ELK	异常追踪与分析
任务调度	Airflow / Celery	定时采集与依赖管理
数据存储	MySQL + Redis	持久化与缓存加速
告警通知	企业微信/钉钉机器人	异常即时推送

通过Prometheus+Grafana可视化请求成功率、响应延迟等关键指标。

9. 法律与合规边界：数据使用的风险提示

尽管技术上可行，但根据《网络安全法》及B站用户协议，未经授权的大规模数据抓取可能构成侵权。建议：

• 仅在获得UP主明确授权后采集敏感数据
• 遵守robots.txt规则
• 不用于商业竞争或用户画像构建
• 定期审查数据保留周期

企业级应用应申请B站官方合作接口，获取合法数据通道。

10. 持续演进：应对B站前端架构升级的长期策略

随着B站逐步推进微服务化与GraphQL转型，未来可能出现统一查询入口。建议团队：

1. 建立接口变更监测系统（对比快照哈希）
2. 维护私有API指纹库
3. 参与社区逆向分析（GitHub开源项目跟踪）
4. 开发自动化探针定期扫描新端点

结合Puppeteer或Playwright实现全链路UI级容灾备份。