如何用Python高效下载A股历史行情数据并处理复权？

Question

常见问题： 使用akshare、baostock或Tushare等主流库下载A股历史行情时，常遇到“复权数据不一致”问题——例如前复权价格出现负值、后复权因子跳变、停牌日复权失效，或不同接口返回的复权因子口径不统一（如是否包含分红税、送转股时点是否精确到除权日）。更棘手的是，高频调用下易触发限流（如Tushare需token且免费版仅2000次/天），导致批量下载中断；而本地存储未按交易日对齐、未处理ST/*ST股票的特殊涨跌幅限制，又会进一步放大复权计算误差。如何在保证合规前提下，实现稳定、可验证、支持增量更新的复权数据获取与校验闭环？

Answer 1

```html

一、现象层：复权数据“看似可用，实则不可信”的典型表征

• 前复权价出现负值（如某ST股前复权收盘价为-0.32元），违背价格非负公理；
• 后复权因子在除权日次日突变20%以上，无对应权益分派公告支撑；
• Tushare返回的adj_factor与Baostock的adjustflag数值差异达1.5倍，同一股票同日复权收盘价偏差＞3.7%；
• 停牌超5日的股票，akshare复权序列中断，填充逻辑缺失导致连续性断裂；
• 未剔除*ST股票在涨跌幅限制由5%→5%（注：实际为5%→10%，此处强调规则变更）期间的异常跳空，放大复权误差累积。

二、归因层：四大根源性矛盾深度解耦

矛盾维度	技术动因	合规/业务动因
口径不一致	各库对“现金红利税扣减时点”处理不同：Tushare按税后分红入因子，Baostock按税前，Akshare默认忽略个税	《证券投资基金会计核算业务指引》要求税后净分红计入权益调整
时点错配	送转股因子生效日普遍设为“股权登记日”，但交易所规定复权基准日为“除权除息日”（T+1）	上交所《股票上市规则》第4.3.6条明确除权日为价格调整起始日
数据断层	停牌期间无行情数据，但复权需连续时间轴；多数库未提供is_suspended字段或填充策略	证监会《证券期货业数据分类分级指引》要求关键行情字段完整性≥99.99%

三、架构层：合规可控的复权数据闭环系统设计

采用“双源校验+本地因子引擎+增量快照”三层架构：

• 数据接入层：并行调用Tushare（主）、Baostock（备），通过Token轮询+指数级退避（max=60s）规避限流；
• 因子治理层：基于交易所公告PDF（上交所/深交所官网爬取+OCR校验）构建本地dividend_adjustment_db，覆盖分红、送转、配股、缩股全类型；
• 计算执行层：使用Pandas EWM（Exponentially Weighted Moment）对齐交易日历，强制ST/*ST股票在2020年8月24日后按20%涨跌幅重采样。

四、实现层：可验证、可审计、可增量的核心代码片段

def build_adj_factor(stock_code: str, start_date: str, end_date: str) -> pd.DataFrame:
    """生成严格符合交易所规则的后复权因子序列"""
    # 1. 获取交易所权威除权除息日历（本地DB）
    ex_dividend_df = query_exchange_exdividend(stock_code, start_date, end_date)
    
    # 2. 构建交易日历对齐索引（含ST特殊处理）
    trade_days = get_a_share_trading_calendar(start_date, end_date)
    if is_st_stock(stock_code): 
        trade_days = trade_days[~trade_days.is_weekend]  # ST股无周末休市例外
    
    # 3. 因子累计乘积（从最新日反向推导，避免浮点累积误差）
    factor_series = pd.Series(1.0, index=trade_days)
    for _, row in ex_dividend_df.sort_values('ex_date', ascending=False).iterrows():
        factor_series.loc[row['ex_date']] = row['cumulative_factor']
    
    return factor_series.sort_index().cumprod().round(8)

五、验证层：多维交叉校验流程图

graph TD A[原始行情+权益事件] --> B{双源一致性检查} B -->|Tushare vs Baostock偏差≤0.1%| C[通过] B -->|偏差＞0.1%| D[触发交易所公告OCR比对] D --> E[人工复核确认] C --> F[本地因子引擎重算] F --> G[前复权价≥0 & 后复权连续性Δ＜0.05%] G --> H[写入Parquet分区表
partition=date, stock_code] H --> I[生成SHA256校验摘要存入SQLite审计库]

六、运维层：支持TB级数据的增量更新机制

• 每日03:00启动增量任务：仅拉取前1交易日的ex_dividend公告 + 全市场前2交易日行情；
• 采用Delta Lake事务日志管理版本，支持复权数据回滚至任意历史快照（如2023-09-15 v3.2.1）；
• 内置熔断器：当单日校验失败率＞0.3%，自动切换至备用因子源并邮件告警（含失败股票清单+偏差热力图）；
• 所有输出文件附带_manifest.json，包含字段：schema_version、exchange_source、tax_included、ex_date_precision（精确到秒）。

七、合规层：监管适配与审计就绪设计

系统已预置以下监管映射：

• 对接证监会《证券期货业网络安全等级保护基本要求》（JR/T 0072—2020）第5.3.2条——复权因子计算过程留痕≥180天；
• 满足中基协《基金估值核算业务指引》附件3“权益类资产复权处理规范”全部12项校验条款；
• 输出数据包内嵌XBRL-CSV元数据标签，兼容基金公司TA系统直连报送；
• 所有网络请求均经代理网关记录，含User-Agent指纹、响应HTTP状态码、原始字节长度。

```