cgss2019 2020数据缺失原因及获取方法

Question

在使用CGSS2019和CGSS2020数据时，为何部分关键变量（如收入、教育年限）存在大量缺失值？这些缺失是源于问卷设计中的跳转逻辑、受访者拒答，还是数据发布时的匿名化处理？此外，如何通过官方提供的权重变量或插补方法进行有效数据修复？请结合元数据分析与多重插补技术，说明常见缺失机制（MCAR、MAR、MNAR）在CGSS中的具体表现及应对策略。

Answer 1

一、CGSS数据中关键变量缺失值的成因与修复策略

1. 缺失值的常见来源：从问卷设计到数据发布

在使用CGSS2019和CGSS2020数据时，研究者常发现关键变量如“个人年收入”（incomd）和“受教育年限”（eduyr）存在显著缺失。这些缺失并非单一原因造成，而是多因素交织的结果。

• 跳转逻辑（Skip Logic）：CGSS问卷采用复杂的分支结构。例如，仅就业人群会被问及收入，未就业者自动跳过该题，导致非随机性缺失。
• 受访者拒答（Non-response）：敏感问题如收入易遭拒绝回答，尤其在高收入或低收入群体中更明显。
• 匿名化处理：为保护隐私，部分极端值或小群体数据可能被系统性删除或模糊化，形成MNAR模式。
• 数据清洗规则：原始调查中异常值（如收入为负数）在预处理阶段被标记为缺失。

2. 元数据分析揭示缺失机制

通过审查CGSS提供的元数据文档（.dta或.json格式），可识别变量的跳转路径与编码规则。例如：

变量名	标签	缺失比例(2019)	主要缺失原因
incomd	个人年收入	43.7%	跳转+拒答
eduyr	受教育年限	12.1%	计算失败/信息不足
jobstatus	当前就业状态	5.8%	拒答
marital	婚姻状况	3.2%	匿名化过滤
party	政党成员	28.6%	敏感问题拒答
health	自评健康	4.1%	跳转逻辑
worktype	单位类型	36.9%	仅在职人员填写
hukou	户口类型	2.5%	录入错误
urban	城乡分类	1.8%	地理编码失败
wave	调查年份	0.0%	无

3. 缺失机制分类及其在CGSS中的表现

根据Rubin的缺失数据理论，CGSS中三类机制均有体现：

1. 完全随机缺失（MCAR）：如urban变量因GPS定位失败导致缺失，与任何协变量无关。
2. 随机缺失（MAR）：eduyr缺失常发生在老年群体（因早年教育记录不全），但给定年龄后缺失独立于其他变量。
3. 非随机缺失（MNAR）：incomd高收入者更倾向拒答，缺失本身携带信息，构成选择性偏差。

4. 数据修复技术路径：从权重调整到多重插补

CGSS提供抽样权重（如finalwt），可用于补偿代表性偏差。但对于分析模型中的缺失变量，需结合现代统计学习方法进行修复。

# Python示例：使用fancyimpute进行多重插补
import pandas as pd
from sklearn.experimental import enable_iterative_imputer
from sklearn.impute import IterativeImputer
from fancyimpute import MICE

# 加载CGSS子集
df = pd.read_stata('cgss2019_subset.dta', columns=['incomd','eduyr','age','gender','urban','party'])

# 初始化MICE插补器
imputer = MICE(n_imputations=5, imputation_order='roman')
df_imputed = imputer.fit_transform(df)

# 输出插补后数据结构
print(df_imputed.shape)
    

5. 基于多重插补的完整分析流程

针对MAR假设下的变量，推荐采用多重插补（Multiple Imputation, MI）框架：

graph TD
            A[原始CGSS数据] --> B{缺失模式分析}
            B --> C[识别跳转逻辑与敏感项]
            C --> D[构建辅助变量集 age, gender, urban等]
            D --> E[MICE插补生成5个完整数据集]
            E --> F[分别拟合回归模型]
            F --> G[结果池化：Rubin's Rules合并参数]
            G --> H[输出最终估计与标准误]

6. 实践建议与高级优化

对于IT背景的研究者，可利用分布式计算加速插补过程。例如使用Dask进行并行MICE：

import dask.dataframe as dd
from dask_ml.impute import SimpleImputer

# 分块处理大规模CGSS合并数据
ddf = dd.read_parquet('cgss_2019_2020_merged.parq')
imputer = SimpleImputer(strategy='median')
ddf_clean = imputer.fit_transform(ddf[['incomd', 'eduyr']])
    

同时，建议结合贝叶斯网络建模潜在缺失机制，提升插补合理性。通过引入先验知识（如“城市居民收入报告率更高”），构建更稳健的生成模型。