EasyExcel切换FastExcel后内存溢出

Question

在将 EasyExcel 迁移至 FastExcel 的过程中，部分用户反馈出现内存溢出（OOM）问题。尽管 FastExcel 宣称性能更优且基于 SAX 模式解析，理论上应降低内存占用，但在实际使用中，若未正确配置流式读写或缓存策略，仍可能导致大量数据滞留堆内存。尤其在处理大文件时，未及时释放临时对象或错误使用同步写模式，会加剧内存压力。此外，FastExcel 与 EasyExcel 的 API 行为差异可能导致开发者沿用易错的编程习惯，如一次性加载全部数据到列表，从而引发内存溢出。如何合理调优 FastExcel 的读写方式并规避常见编码陷阱，成为迁移过程中的关键问题。

Answer 1

1. 问题背景与初步现象分析

在将 EasyExcel 迁移至 FastExcel 的过程中，部分用户反馈出现内存溢出（OOM）问题。尽管 FastExcel 宣称其基于 SAX 模式解析、性能更优，理论上应显著降低内存占用，但实际使用中仍频繁触发 JVM 堆内存溢出。这一反常现象引发了对 FastExcel 内存管理机制的深入审视。

初步排查发现，OOM 多发生在处理超过 50MB 的 Excel 文件时，尤其是在 Web 应用服务器（如 Tomcat）中并发读取多个大文件的场景下。监控数据显示，堆内存持续增长且 Full GC 后无法有效回收，表明存在大量未及时释放的对象引用。

2. 核心机制对比：EasyExcel vs FastExcel

特性	EasyExcel	FastExcel
解析模式	SAX 模式（只读）	SAX 模式（默认流式）
写入方式	流式写（推荐）	支持同步/异步写
缓存策略	自动分批 flush	需手动配置 flush 频率
API 设计	回调式监听器	函数式接口 + 监听器混合
对象生命周期管理	自动清理中间对象	依赖开发者显式控制

3. 常见编码陷阱与行为差异

• 陷阱一：误用同步写模式 - 开发者沿用 EasyExcel 的习惯，在 FastExcel 中调用 writeSync() 将全部数据加载进内存列表，导致 OOM。
• 陷阱二：未关闭资源流 - 忘记调用 reader.finish() 或 writer.close()，造成 InputStream 和临时缓存未释放。
• 陷阱三：过度缓存行数据 - 在监听器中累积处理结果到 ArrayList，而非实时落库或输出。
• 陷阱四：错误理解“流式”含义 - 认为只要用了 FastExcel 就自动流式处理，忽略配置项如 setAutoFlush(true)。

4. 内存溢出根本原因深度剖析

1. FastExcel 虽然底层采用 SAX 解析器逐行读取，但若未启用流式写入或未设置合理的 flush 阈值（如每 1000 行 flush 一次），则临时数据会积压在内存队列中。
2. 某些版本的 FastExcel 默认缓存所有写入操作直到显式 flush，若业务逻辑复杂或耗时较长，中间对象无法被 GC 回收。
3. 开发者迁移时复制原有 EasyExcel 的监听器代码，未适配 FastExcel 的事件驱动模型，导致监听器内部持有强引用链。
4. JVM 参数配置不合理，如堆大小不足（-Xmx 设置过小）、GC 策略不匹配高吞吐场景。
5. 并发读写多个文件时，线程局部变量（ThreadLocal）未清理，引发隐形内存泄漏。

5. 性能调优与最佳实践方案

// 正确的流式读取示例
try (InputStream inputStream = new FileInputStream("large.xlsx");
     FastExcelReader reader = FastExcel.reader(inputStream).build()) {

    reader.read(0, new RowReadListener<MyData>() {
        @Override
        public void accept(Map<Integer, CellData> cellDataMap, ReadRowInfo readRowInfo) {
            MyData data = convert(cellDataMap);
            // 实时处理，避免累积
            processInRealTime(data);
        }
    });
} // 自动关闭资源

// 流式写入优化配置
try (OutputStream out = new FileOutputStream("output.xlsx");
     FastExcelWriter writer = FastExcel.writer(out).build()) {

    WriteSheet sheet = writer.sheet(0).head(MyData.class).build();
    List cache = new ArrayList<>(1000);

    for (MyData data : largeDataSet) {
        cache.add(data);
        if (cache.size() >= 1000) {
            writer.write(cache, sheet);
            cache.clear(); // 显式清空，帮助 GC
            System.gc(); // 可选：建议仅用于极端场景
        }
    }
    if (!cache.isEmpty()) {
        writer.write(cache, sheet);
    }
}

6. 架构级优化建议与流程图

graph TD A[开始处理Excel文件] --> B{是否为大文件?} B -- 是 --> C[使用FastExcel流式读取] B -- 否 --> D[可使用同步读取] C --> E[注册RowReadListener] E --> F[逐行解析并转换对象] F --> G[实时处理:入库/发送MQ/写磁盘] G --> H{是否需要写回Excel?} H -- 是 --> I[使用流式写入+分批flush] H -- 否 --> J[结束] I --> K[每1000行flush一次] K --> L[关闭Writer释放资源] L --> J