Python读表格时NaN导致数据类型异常

Question

在使用 `pandas.read_csv()` 或 `read_excel()` 读取表格数据时，若字段中包含缺失值（NaN），可能导致整列数据被自动推断为浮点型（float64），即使原始数据本应为整数或字符串类型。例如，一列本应为整数的数据因存在 NaN 而变为 float 类型，影响后续计算与格式输出。更严重的是，当进行类型转换（如 `astype(int)`）时，NaN 会导致 `ValueError`。如何在读取含 NaN 的表格数据时正确处理缺失值并保留预期的数据类型？这是数据预处理中常见且关键的技术难题。

Answer 1

1. 问题背景与核心挑战

在使用 pandas.read_csv() 或 read_excel() 读取结构化数据时，Pandas 默认通过类型推断机制自动判断每列的数据类型（dtype）。当某一列本应为整数型（如 ID、年龄等）或字符串型（如分类标签），但因存在缺失值（NaN）时，Pandas 会将其推断为 float64 类型。这是因为 NaN 在 NumPy 中是浮点类型的特殊值，无法直接存在于整数或字符串数组中。

例如：

import pandas as pd
df = pd.DataFrame({'age': [25, 30, None, 40]})
print(df.dtypes)
# 输出：age    float64

这导致后续调用 df['age'].astype(int) 抛出 ValueError: Cannot convert non-finite values (NA) to integer，严重阻碍数据清洗和建模流程。

2. 深度解析：Pandas 类型系统与缺失值机制

• NumPy 的限制：传统 NumPy 数组不支持整数型中的 NaN，因此 Pandas 在遇到含缺失值的整数列时被迫升级为 float64。
• Pandas 扩展类型：自 v1.0 起引入了可空类型（nullable dtypes），包括 Int64（注意大写 I）、boolean 和 string，可在保留缺失值的同时维持语义类型。
• 引擎差异：read_csv(engine='pyarrow') 支持更高级的类型推断和缺失处理，可结合 Arrow 类型实现原生 nullable 支持。

原始意图	默认行为（含 NaN）	推荐替代类型
整数列	float64	Int64
布尔列	float64 / object	boolean
文本列	object	string

3. 解决方案层级演进

1. 读取阶段指定 dtype：在 read_csv() 中显式声明列类型。
2. 后处理转换为可空类型：使用 convert_dtypes() 自动优化。
3. 利用 PyArrow 引擎增强支持：实现高效且语义正确的类型保留。
4. 自定义缺失值填充策略：根据业务逻辑决定是否插补或保留 NA。

# 方案一：读取时指定 nullable 类型
df = pd.read_csv('data.csv', dtype={'age': 'Int64', 'category': 'string'})

# 方案二：读取后批量转换
df = pd.read_csv('data.csv')
df = df.convert_dtypes()

# 方案三：使用 PyArrow 引擎（需安装 pyarrow）
df = pd.read_csv('data.csv', engine='pyarrow')

4. 实际应用案例与性能对比

以下是一个包含 10 行模拟数据的测试场景：

import pandas as pd
import numpy as np

data = {
    'user_id': [1, 2, None, 4, 5, 6, None, 8, 9, 10],
    'name': ['Alice', 'Bob', None, 'David', 'Eva', 'Frank', 'Grace', None, 'Ivy', 'Jack'],
    'is_active': [True, False, True, None, True, None, False, True, None, True]
}
df_raw = pd.DataFrame(data)

graph TD
    A[原始 CSV/Excel] --> B{是否存在缺失值？}
    B -- 是 --> C[默认推断为 float64/object]
    B -- 否 --> D[正确推断类型]
    C --> E[使用 nullable dtypes 替代]
    E --> F[成功保留整数/字符串语义]
    F --> G[支持后续 astype 操作]

5. 最佳实践建议

• 始终在项目初期定义 schema 映射，避免依赖自动推断。
• 启用 convert_dtypes() 作为标准化预处理步骤。
• 对于大规模数据，优先考虑 engine='pyarrow' 提升效率与类型兼容性。
• 结合 pd.NA 统一缺失值表示，避免混合使用 np.nan、None 和 pd.NaT。

# 推荐的标准读取模板
def safe_read_csv(path, schema=None):
    df = pd.read_csv(path)
    if schema:
        df = df.astype(schema)
    else:
        df = df.convert_dtypes()
    return df

# 使用示例
schema = {'user_id': 'Int64', 'name': 'string', 'is_active': 'boolean'}
df = safe_read_csv('users.csv', schema=schema)