如何用Python宏观经济数据包处理缺失值？

Question

在使用Python处理宏观经济数据时，常因数据来源不完整导致出现缺失值（如GDP、CPI等关键指标为空）。尽管`pandas`提供了`fillna()`和`dropna()`等基础方法，但在时间序列场景下直接删除或简单填充可能扭曲趋势。一个常见问题是：如何结合`statsmodels`或`pandas`的时间序列插值功能（如`spline`、`interpolate(method='time')`）合理填补缺失的宏观指标？尤其当数据频率不一致（季度转月度）或存在结构性断点时，插值结果易失真。此外，外部经济变量的协整关系是否可用于构建回归模型填补缺失值？这涉及多重技术选择与经济学逻辑的权衡。

Answer 1

1. 缺失值问题的背景与挑战

在使用Python处理宏观经济数据（如GDP、CPI、PPI、失业率等）时，数据来源的不完整性是常见问题。例如，国家统计局或国际组织（如IMF、World Bank）发布的数据往往存在发布延迟、频率不一致（季度GDP vs 月度CPI），或因政策调整导致结构性断点。

• 直接使用dropna()会丢失关键时间点信息，破坏时间序列连续性；
• fillna(method='ffill')或bfill虽简单，但可能忽略经济周期波动；
• 线性插值在非平稳序列中易产生偏差；
• 高频转低频或反之（如季度→月度）需考虑插值方法对趋势和季节性的保持能力。

2. 基础插值方法：pandas 时间感知插值

对于时间序列缺失值，pandas.DataFrame.interpolate() 提供了基于时间索引的插值选项，优于普通线性插值。

方法	适用场景	优点	局限性
method='time'	不规则时间间隔	按时间距离加权	假设线性变化
method='spline'	平滑曲线拟合	可捕捉非线性趋势	过拟合风险高
method='polynomial'	短期波动明显	灵活性强	需指定阶数
method='akima'	噪声较多的数据	抗噪性强	计算开销大

import pandas as pd
import numpy as np

# 构造示例季度GDP数据（含缺失）
dates = pd.date_range('2020-01-01', periods=12, freq='Q')
gdp_data = pd.Series([100, np.nan, 108, np.nan, 115, 118], index=dates[:6])
gdp_monthly = gdp_data.resample('M').asfreq()  # 转为月度，引入更多NaN

# 使用时间插值填补
gdp_filled = gdp_monthly.interpolate(method='time')
print(gdp_filled.tail())

3. 高级插值：结合 statsmodels 的状态空间模型

当数据存在趋势、季节性和不规则成分时，传统插值不足。statsmodels 提供 SARIMAX 等模型，可在建模的同时处理缺失值。

SARIMAX 内部使用 Kalman Filter 自动处理 NaN，适合带有协变量的多变量插补。

from statsmodels.tsa.statespace.sarimax import SARIMAX

# 假设我们有部分CPI数据和完整PMI数据作为辅助变量
cpi_data = pd.Series([2.1, np.nan, 2.3, 2.4, np.nan, 2.6], 
                     index=pd.date_range('2020-01-01', periods=6, freq='M'))
pmi_data = pd.Series([51.2, 51.5, 52.0, 51.8, 52.3, 52.5], 
                     index=cpi_data.index)

# 利用PMI作为外生变量进行SARIMAX建模填补CPI
model = SARIMAX(cpi_data, exog=pmi_data, order=(1, 1, 1), seasonal_order=(1, 1, 1, 12))
results = model.fit(disp=False)
cpi_imputed = results.fittedvalues

4. 多变量协同填补：协整关系与回归模型

宏观经济变量常具有长期均衡关系（协整）。例如，GDP与工业增加值、消费、投资之间存在结构关联。利用这些关系构建回归模型可提升填补质量。

1. 检验目标变量与候选协变量之间的协整性（Engle-Granger test）；
2. 建立误差修正模型（ECM）或面板回归；
3. 使用残差修正机制预测缺失值；
4. 结合机器学习模型（如RandomForest、XGBoost）提升非线性拟合能力。

from sklearn.linear_model import LinearRegression
from statsmodels.tsa.stattools import coint

# 检验GDP与工业增加值的协整关系
gdp_quarterly = pd.Series([100, 102, 105, 108, 110, 113], 
                          index=pd.date_range('2020-01-01', periods=6, freq='Q'))
industrial_prod = pd.Series([80, 82, 85, 88, 90, 93], 
                            index=gdp_quarterly.index)

score, pvalue, _ = coint(gdp_quarterly, industrial_prod)
if pvalue < 0.05:
    print("存在协整关系，可用于回归填补")
    X = industrial_prod.values.reshape(-1, 1)
    y = gdp_quarterly.values
    reg = LinearRegression().fit(X, y)

5. 数据频率转换与混合频率建模（MIDAS回归）

当需将季度GDP映射到月度时，传统插值可能失真。MIDAS（Mixed Data Sampling）回归允许高频变量预测低频目标，反向亦可用于插值。

graph TD
    A[季度GDP] --> B[MIDAS回归]
    C[月度工业增加值] --> B
    D[月度零售额] --> B
    B --> E[估计月度GDP隐含值]
    E --> F[填补缺失月度GDP]

# 使用midasr包（需安装 pip install midasr）
# 示例逻辑（实际调用R接口或自实现权重函数）
def midas_weights(L, beta1, beta2):
    return [(beta1 * np.exp(-beta2 * (j+1))) for j in range(L)]

# 权重用于加权高频指标预测低频GDP

6. 综合策略设计：分阶段填补流程

针对复杂缺失模式，建议采用分阶段策略：

阶段	操作	工具
1. 数据诊断	识别缺失模式、频率、结构性断点	pandas.info(), isna().sum()
2. 频率对齐	统一采样频率（resample/ffill）	resample(), asfreq()
3. 单变量插值	初步填补孤立缺失	interpolate(method='spline')
4. 协整检验	筛选相关变量	statsmodels.coint
5. 回归填补	基于经济逻辑建模	SARIMAX, OLS, XGBoost
6. 后验检验	残差分析、Granger因果	diagnostic plots