使用openpyxl进行Excel数据去重时，如何高效判断并删除重复行？

Question

在使用 openpyxl 处理 Excel 数据时，如何高效判断并删除重复行？常见做法是先读取所有数据，利用 Python 的集合或字典结构记录已出现的行数据，逐行判断是否重复，并将不重复的行写入新工作表。但面对大型数据集时，这种方法可能效率低下。是否有更优策略实现高性能去重？

Answer 1

一、理解 openpyxl 处理 Excel 数据时的去重机制

在使用 openpyxl 操作 Excel 文件时，开发者通常会面临一个常见问题：如何高效地判断并删除重复行。传统做法是将整个工作表读入内存，然后通过 Python 的集合（set）或字典结构记录已出现的数据行，逐行比对以识别重复项。

1. 读取整个工作表数据至列表中
2. 遍历每一行数据，将其转换为可哈希的元组形式
3. 使用集合记录已出现过的行
4. 仅将未出现过的行写入新的工作表

from openpyxl import load_workbook, Workbook

def remove_duplicates(input_file, output_file):
    seen = set()
    wb = load_workbook(input_file)
    ws = wb.active
    new_wb = Workbook()
    new_ws = new_wb.active

    for row in ws.iter_rows(values_only=True):
        row_tuple = tuple(row)
        if row_tuple not in seen:
            seen.add(row_tuple)
            new_ws.append(row)

    new_wb.save(output_file)

这种方法适用于小规模数据集，但在处理大型 Excel 文件时，存在明显的性能瓶颈，例如内存占用高、执行效率低等问题。

二、从性能角度分析常见方法的局限性

上述方法的主要问题是将全部数据加载到内存中进行处理。当数据量较大时，这不仅消耗大量内存资源，还可能导致程序响应变慢甚至崩溃。

数据量级别	内存占用估算	处理时间趋势
< 1万行	较低	快速
1-10万行	中等	较慢
> 10万行	高	显著延迟

此外，使用 iter_rows(values_only=True) 方法虽然避免了单元格对象的创建，但仍需将整行数据转换为元组用于哈希判断，这在大数据场景下依然不够高效。

三、优化策略：结合分块读取与增量处理

为了提升性能，可以采用“分块读取 + 增量写入”的方式。具体而言：

• 使用 openpyxl 的 read_only 模式打开文件，降低内存开销
• 按行读取，逐条处理并立即写入新文件
• 利用数据库或临时磁盘缓存来存储已出现的行（如 SQLite）

from openpyxl import load_workbook
import sqlite3

def remove_duplicates_large(input_file, output_file):
    conn = sqlite3.connect(':memory:')
    c = conn.cursor()
    c.execute('CREATE TABLE seen (row TEXT PRIMARY KEY)')

    wb = load_workbook(input_file, read_only=True)
    ws = wb.active

    new_wb = Workbook()
    new_ws = new_wb.active

    for row in ws.iter_rows(values_only=True):
        row_str = str(row)
        try:
            c.execute('INSERT INTO seen (row) VALUES (?)', (row_str,))
            new_ws.append(row)
        except sqlite3.IntegrityError:
            pass  # 跳过重复行

    new_wb.save(output_file)
    conn.close()

此方案通过引入轻量级数据库来维护已处理的行，避免了内存中保存所有数据的需求，从而支持更大规模的 Excel 文件处理。

四、更进一步：借助 Pandas 提升性能与灵活性

对于需要更高性能和更多功能的项目，推荐使用 pandas 库结合 openpyxl 引擎进行处理。

import pandas as pd

def remove_duplicates_pandas(input_file, output_file):
    df = pd.read_excel(input_file, engine='openpyxl')
    df.drop_duplicates(inplace=True)
    df.to_excel(output_file, index=False)

Pandas 内部使用 NumPy 数组进行向量化操作，相比原生的 Python 集合结构，在数据去重方面具有更高的执行效率。同时，它还支持多列组合去重、保留首次/末次出现等多种高级选项。

五、流程图展示不同方案的处理逻辑

graph TD
    A[开始] --> B{数据量大小}
    B -- 小规模 --> C[全量读取 + 集合判重]
    B -- 大规模 --> D[只读模式 + 分块处理]
    D --> E[使用 SQLite 缓存已处理行]
    D --> F[使用 Pandas 向量化处理]
    C --> G[写入新文件]
    E --> G
    F --> G
    G --> H[结束]