如何用Python获取申万二级行业指数历史数据？

Question

如何用Python获取申万二级行业指数的历史成分股及权重数据？由于申万指数官网未提供公开API，且第三方金融数据平台（如东方财富、同花顺）对申万行业数据的接口不完整或需付费，导致难以批量获取指定日期范围内的历史行业成分股及其权重。常见的尝试包括爬虫抓取网页表格或逆向分析前端请求，但常面临反爬机制、数据结构变动等问题。此外，Tushare、Baostock等开源库虽支持部分申万一级行业数据，但对二级行业的覆盖有限。如何稳定、合规地获取高质量的申万二级行业历史数据成为实际应用中的技术难点。

Answer 1

如何用Python获取申万二级行业指数的历史成分股及权重数据？

1. 问题背景与挑战分析

申万行业分类体系（申银万国行业指数）是中国资本市场广泛使用的行业划分标准，尤其在量化研究、因子回测和组合管理中具有重要地位。其中，申万二级行业包含约90余个细分行业，其成分股与权重随季度调整而变化。

然而，官方（申万宏源证券）并未开放公开API接口，且其官网仅提供有限的PDF或HTML格式公告，导致自动化采集困难。第三方平台如：

• 东方财富：仅提供部分实时快照，无历史权重追溯功能；
• 同花顺iFinD：需商业授权，成本高；
• Tushare Pro：支持申万一级行业划分，但二级行业数据缺失严重；
• Baostock：数据更新滞后，结构不完整。

因此，构建一个稳定、合规、可扩展的Python解决方案成为关键需求。

2. 数据来源可行性评估

数据源	是否支持申万二级	是否含历史权重	访问方式	合规性风险
申万官网	是	部分（PDF公告）	网页抓取	中（反爬机制强）
Tushare	否（仅一级）	否	API	低
Baostock	部分	否	API	低
东方财富网	是（页面展示）	仅当前	爬虫 + JS逆向	中高
Wind / iFinD	是	是	商业终端SDK	低（但昂贵）
本地维护数据库	可定制	是	自建+更新	最低

3. 技术路径设计：从简单到复杂

1. 初级方案：使用静态网页爬虫定期抓取东方财富“申万行业”页面；
2. 中级方案：通过Selenium模拟浏览器行为，解析动态加载的成分股表格；
3. 高级方案：逆向分析前端XHR请求，直接调用隐藏接口获取JSON数据；
4. 终极方案：结合多源数据清洗 + 增量更新机制 + 本地时序数据库存储。

4. 高级爬虫实现示例（基于Requests + Selenium）

import requests
from selenium import webdriver
from selenium.webdriver.common.by import By
import pandas as pd
import time
import re

def fetch_sw_industry_weights(date_str='2024-03-31'):
    # 启动无头浏览器
    options = webdriver.ChromeOptions()
    options.add_argument('--headless')
    driver = webdriver.Chrome(options=options)

    try:
        url = f"https://data.eastmoney.com/stock/trade/{date_str}.html"
        driver.get(url)
        time.sleep(5)  # 等待JS渲染

        # 查找行业成分表
        tables = driver.find_elements(By.CSS_SELECTOR, "table tbody")
        for table in tables:
            if "申万二级" in table.text:
                rows = table.find_elements(By.TAG_NAME, "tr")
                data = []
                for row in rows[1:]:
                    cols = row.find_elements(By.TAG_NAME, "td")
                    if len(cols) > 5:
                        code = cols[1].text.strip()
                        name = cols[2].text.strip()
                        weight = float(re.sub(r'[^\d.]','', cols[5].text))
                        data.append([code, name, weight])
                df = pd.DataFrame(data, columns=['股票代码', '股票名称', '权重'])
                return df
    finally:
        driver.quit()

# 调用示例
df = fetch_sw_industry_weights('2023-12-31')
print(df.head(10))
    

5. 反爬策略应对与稳定性优化

面对常见的反爬机制，建议采取以下措施：

• 使用User-Agent轮换池模拟真实用户；
• 引入requests-html或Playwright处理复杂JS渲染；
• 设置随机延迟（time.sleep(random.uniform(1,3))）避免频率过高；
• 利用代理IP池分散请求来源；
• 对响应内容进行指纹校验，识别是否被重定向至验证码页。

6. 构建本地历史数据库（SQLite + Pandas）

import sqlite3
from datetime import datetime

def save_to_db(df, industry_name, date):
    conn = sqlite3.connect('sw_industry_history.db')
    cursor = conn.cursor()
    
    cursor.execute('''
        CREATE TABLE IF NOT EXISTS sw_weights (
            id INTEGER PRIMARY KEY AUTOINCREMENT,
            industry TEXT,
            stock_code TEXT,
            stock_name TEXT,
            weight REAL,
            date DATE,
            updated_at TIMESTAMP
        )
    ''')
    
    for _, row in df.iterrows():
        cursor.execute('''
            INSERT INTO sw_weights (industry, stock_code, stock_name, weight, date, updated_at)
            VALUES (?, ?, ?, ?, ?, ?)
        ''', (industry_name, row['股票代码'], row['股票名称'], 
              row['权重'], date, datetime.now()))
    
    conn.commit()
    conn.close()

# 示例保存
save_to_db(df, '电子-半导体', '2023-12-31')
    

7. 数据质量监控与自动化流程

为确保长期可用性，应建立如下监控机制：

graph TD A[定时任务启动] --> B{目标日期是否存在?} B -->|否| C[调用爬虫获取数据] B -->|是| D[跳过] C --> E[解析JSON/HTML] E --> F[数据清洗与校验] F --> G[存入SQLite/MongoDB] G --> H[发送状态邮件或日志记录] H --> I[结束]

8. 替代方案探索：学术合作与数据众筹

对于无法突破技术壁垒的团队，可考虑：

• 接入高校金融实验室共享数据库（如CCER、CSMAR）；
• 参与开源项目（如akshare），贡献并获取申万行业补丁；
• 联合多家机构共建去中心化行业数据联盟链，实现数据互信共享。

9. 合规边界提醒

尽管技术上可行，但需注意：

• 不得高频抓取造成服务器压力；
• 避免绕过登录认证或验证码系统；
• 商业用途需获得原始数据源授权；
• 建议优先采购合法数据服务以降低法律风险。

10. 推荐工具栈汇总

用途	推荐工具	优势
静态爬取	requests + BeautifulSoup	轻量、快速
动态渲染	Selenium / Playwright	兼容复杂前端
异步采集	Scrapy + Splash	高性能分布式
数据存储	SQLite / PostgreSQL	结构化查询
调度任务	APScheduler / Airflow	定时触发
数据清洗	pandas + pyarrow	高效处理
可视化监控	Grafana + InfluxDB	实时看板
替代数据源	akshare	免费、持续更新
文档解析	pdfplumber / Camelot	提取PDF表格
接口模拟	mitmproxy / Postman + Codegen	逆向分析利器