如何用Pandas筛选多列中满足条件的行？

Question

如何在Pandas中同时根据多个列的条件筛选行？例如，希望从DataFrame中筛选出“年龄大于30”且“部门为技术部”的员工数据，或满足“销售额高于均值”或“利润率低于10%”的记录。使用布尔索引时，多个条件组合常出现语法错误（如误用 `and`/`or` 而非 `&`/`|`），或未正确添加括号导致运算符优先级问题。此外，当条件涉及多个列且包含缺失值时，结果可能不符合预期。如何正确构建多列条件表达式并确保逻辑准确？

Answer 1

如何在Pandas中同时根据多个列的条件筛选行

在数据分析过程中，使用Pandas对DataFrame进行多列条件筛选是一项高频操作。尤其在处理复杂业务逻辑时，如“年龄大于30且部门为技术部”或“销售额高于均值或利润率低于10%”，构建正确的布尔索引表达式至关重要。本文将从基础语法到高级技巧，系统性地讲解多列条件筛选的实现方法。

1. 基础布尔索引语法

在Pandas中，通过方括号[]结合布尔表达式可以实现行筛选。基本结构如下：

df[condition]

其中condition是一个返回布尔序列（Series）的表达式。例如，筛选年龄大于30的员工：

df[df['age'] > 30]

这是单条件筛选的基础。当需要多个列参与判断时，必须使用位运算符而非Python逻辑运算符。

2. 多条件组合：正确使用 & 和 |

常见错误是误用and/or，这会导致ValueError: The truth value of a Series is ambiguous。正确做法是使用&（与）、|（或）和~（非），并且每个条件必须用括号包裹以避免优先级问题。

• AND 条件（交集）：筛选年龄>30 且 部门为“技术部”
• OR 条件（并集）：销售额高于均值 或 利润率低于10%

# AND 示例
filtered_df = df[(df['age'] > 30) & (df['department'] == '技术部')]

# OR 示例
mean_sales = df['sales'].mean()
filtered_df = df[(df['sales'] > mean_sales) | (df['profit_margin'] < 0.1)]

注意：未加括号会导致运算符优先级混乱，例如df['age'] > 30 & df['department'] == '技术部'会抛出错误。

3. 运算符优先级与括号的重要性

表达式	是否合法	说明
(A) & (B)	✅ 正确	推荐写法，明确优先级
A & B	❌ 错误	缺少括号，解析失败
~(A) | (B)	✅ 正确	支持逻辑非与或组合

建议始终将每个子条件用括号包围，提升可读性和安全性。

4. 处理缺失值（NaN）的影响

当数据包含缺失值时，布尔比较可能产生NaN，进而导致筛选结果异常。例如：

print(df['department'].isna().sum())  # 查看空值数量

解决方案包括：

1. 使用fillna()填充后再比较
2. 在条件中显式排除NaN：df['department'].notna() & (df['department'] == '技术部')
3. 利用query()方法自动处理部分边界情况

5. 使用 query() 方法简化复杂表达式

Pandas提供的query()方法支持字符串形式的条件表达式，语法更接近自然语言，适合复杂逻辑：

# 等价于前面的AND示例
filtered_df = df.query("age > 30 and department == '技术部'")

# 支持变量引用
threshold = df['sales'].mean()
filtered_df = df.query("sales > @threshold or profit_margin < 0.1")

优点：无需括号、可读性强、支持@引用外部变量；缺点：性能略低于原生布尔索引，不适合极大数据集。

6. 高级技巧：构建动态条件链

对于需要动态拼接条件的场景（如用户输入过滤），可通过字典和循环构建复合掩码：

conditions = [
    df['age'] > 30,
    df['department'] == '技术部',
    df['profit_margin'].fillna(0) < 0.15
]

mask = True
for cond in conditions:
    mask &= cond  # 动态累积AND条件

result = df[mask]

此模式适用于配置化筛选系统，增强代码灵活性。

7. 性能对比与最佳实践建议

graph TD A[开始筛选] --> B{条件简单?} B -- 是 --> C[使用布尔索引 &/|] B -- 否 --> D[考虑 query() 提高可读性] C --> E[确保括号正确] D --> F[注意性能开销] E --> G[处理缺失值] F --> G G --> H[输出结果]

综合建议：

• 日常分析优先使用query()提升可维护性
• 高性能批处理使用带括号的布尔索引
• 始终检查数据完整性，特别是NaN对逻辑的影响
• 复杂业务规则可封装为函数复用