C#导出数据库到XLSX时内存溢出如何解决？

Question

在使用C#将大量数据库数据导出为XLSX文件时，常因一次性加载全部数据到内存导致内存溢出。典型表现为：使用`DataTable`或`List`缓存全部记录，并结合如EPPlus或ClosedXML等组件写入Excel时，数据量超过数十万行即可能引发OutOfMemoryException。问题根源在于对象持久化和Excel组件的内存开销叠加。如何在流式处理数据的同时高效生成XLSX文件，成为解决内存溢出的关键挑战。

Answer 1

1. 问题背景与典型表现

在C#开发中，将大量数据库数据导出为XLSX文件是常见的业务需求。然而，当数据量达到数十万行甚至百万行时，传统的做法如使用DataTable或List<T>一次性加载所有数据到内存，极易导致OutOfMemoryException。

典型场景如下：

• 从SQL Server读取50万条订单记录并填充至DataTable。
• 使用EPPlus或ClosedXML将整个DataTable写入Excel工作表。
• 程序在写入过程中抛出内存溢出异常，即使服务器有16GB以上内存。

根本原因在于：数据库查询结果的对象化（如DataRow、Entity对象）本身占用大量托管堆空间，而EPPlus等库在构建XLSX时还需维护内部的单元格模型，形成“双重内存开销”。

2. 技术瓶颈分析

技术环节	内存消耗来源	典型问题
数据库读取	DataTable / List<Entity>	全量加载，无法释放
对象映射	ORM（如EF）实体实例	每个对象包含字段、状态跟踪
XLSX生成	EPPlus/ClosedXML的Cell Store	稀疏矩阵结构占用高
GC压力	大量短生命周期对象	频繁GC暂停影响性能

3. 解决思路演进路径

1. 初级方案：分页查询 + 批量写入，仍使用List<T>但控制每批大小（如1万行）。
2. 中级方案：采用SqlDataReader流式读取，避免DataTable，逐行处理。
3. 高级方案：结合流式I/O与底层Open XML SDK直接写入，绕过EPPlus内存模型。
4. 优化方案：使用SpreadsheetLight或FastMember提升反射效率。

4. 核心解决方案：流式导出架构设计

public void ExportToXlsxStream(string connectionString, string query, Stream outputStream)
{
    using var connection = new SqlConnection(connectionString);
    connection.Open();
    using var command = new SqlCommand(query, connection);
    using var reader = command.ExecuteReader();

    using var document = SpreadsheetDocument.Create(outputStream, SpreadsheetDocumentType.Workbook);
    var workbookPart = document.AddWorkbookPart();
    workbookPart.Workbook = new Workbook();
    var worksheetPart = workbookPart.AddNewPart<WorksheetPart>();
    var sheetData = new SheetData();
    worksheetPart.Worksheet = new Worksheet(sheetData);

    // 写入表头
    var headerRow = new Row();
    for (int i = 0; i < reader.FieldCount; i++)
    {
        var cell = new Cell { DataType = CellValues.String, CellValue = new CellValue(reader.GetName(i)) };
        headerRow.AppendChild(cell);
    }
    sheetData.AppendChild(headerRow);

    // 流式写入数据行
    while (reader.Read())
    {
        var row = new Row();
        for (int i = 0; i < reader.FieldCount; i++)
        {
            var value = reader.GetValue(i)?.ToString() ?? string.Empty;
            var cell = new Cell { DataType = CellValues.String, CellValue = new CellValue(value) };
            row.AppendChild(cell);
        }
        sheetData.AppendChild(row);
    }

    workbookPart.Workbook.Append(new Sheets(new Sheet()
    {
        Id = document.WorkbookPart.GetIdOfPart(worksheetPart),
        SheetId = 1,
        Name = "Data"
    }));
}

5. 架构流程图：流式导出执行流程

graph TD
    A[开始导出] --> B{连接数据库}
    B --> C[执行SQL命令]
    C --> D[创建SqlDataReader]
    D --> E[初始化Open XML文档]
    E --> F[写入Excel表头]
    F --> G[循环读取每一行]
    G --> H[构建Open XML单元格节点]
    H --> I[追加到SheetData]
    I --> J{是否还有下一行?}
    J -- 是 --> G
    J -- 否 --> K[保存并关闭文档]
    K --> L[结束]

6. 性能对比测试数据

数据量(行)	方案	内存峰值(MB)	耗时(秒)	是否成功
50,000	DataTable + EPPlus	850	12.3	是
100,000	DataTable + EPPlus	1700	25.1	否（OOM）
100,000	SqlDataReader + OpenXML	85	18.7	是
500,000	SqlDataReader + OpenXML	92	92.4	是
1,000,000	SqlDataReader + OpenXML	98	186.2	是
50,000	分页+EPPlus(每页1w)	210	15.6	是
200,000	分页+EPPlus(每页1w)	420	63.8	是
500,000	分页+EPPlus(每页1w)	1050	158.3	否
1,000,000	流式+OpenXML+压缩	105	191.0	是
2,000,000	流式+OpenXML	112	385.6	是

7. 高级优化策略

• 列类型推断：根据数据库Schema设置CellValues.Number或Date，避免全部转为字符串。
• 共享字符串表（Shared String Table）：对于重复文本启用共享机制，减少XML冗余。
• 异步流处理：结合async/await与DbDataReader.ReadAsync提升IO吞吐。
• 压缩输出：使用GZipStream包装输出流，降低临时文件体积。
• 多线程分片导出：对可分区表按条件并行导出多个Sheet。
• 内存池复用：通过ArrayPool<byte>减少大对象分配。