Java实现一个excel导入数据考虑性能和并发

Question

如何使用Java实现一个excel导入数据并落库效率最高的方案，要考虑性能和并发的情况，并且需要解决执行过程中，如果出错，数据还没执行完的问题，还要考虑到，如果并发使用多线程，那么如何判断线程是正常执行的，还是执行出现异常了。有无优秀可实现方案？

Answer 1

引自免费微信小程序：皆我百晓生

为了解决Java中Excel导入数据并考虑性能、并发以及异常处理的问题，我们可以设计一个多阶段的解决方案，结合异步处理和数据库事务，确保数据的一致性和完整性。以下是一个详细的实现方案：

1. 使用Apache POI读取Excel

Apache POI是一个强大的库，用于在Java中读写Microsoft Office格式文件，包括Excel。它提供了处理大数据集时的性能优化选项。

示例代码：

import org.apache.poi.ss.usermodel.*;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;

import java.io.File;
import java.io.FileInputStream;
import java.util.ArrayList;
import java.util.List;

public class ExcelReader {
    public List<List<String>> readExcel(String filePath) throws Exception {
        List<List<String>> data = new ArrayList<>();
        FileInputStream fis = new FileInputStream(new File(filePath));
        Workbook workbook = new XSSFWorkbook(fis);
        Sheet sheet = workbook.getSheetAt(0);

        for (Row row : sheet) {
            List<String> rowData = new ArrayList<>();
            for (Cell cell : row) {
                rowData.add(cell.toString());
            }
            data.add(rowData);
        }

        workbook.close();
        fis.close();
        return data;
    }
}

2. 数据库连接池

使用数据库连接池（如HikariCP或C3P0）可以有效管理数据库连接，提高性能。

3. 异步处理与线程池

使用ExecutorService创建一个固定大小的线程池，这有助于控制并发水平，避免过多线程导致资源耗尽。

示例代码：

import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;

public class ThreadPoolManager {
    private static final int THREAD_POOL_SIZE = 10;
    private static final ExecutorService executorService = Executors.newFixedThreadPool(THREAD_POOL_SIZE);

    public static ExecutorService getExecutorService() {
        return executorService;
    }

    public static void shutdown() {
        executorService.shutdown();
        try {
            if (!executorService.awaitTermination(60, TimeUnit.SECONDS)) {
                executorService.shutdownNow();
            }
        } catch (InterruptedException e) {
            executorService.shutdownNow();
        }
    }
}

4. 异常处理与事务

• 事务处理：在数据库操作中使用事务，确保数据的一致性。如果任何部分失败，整个操作将回滚。
• 异常捕获：在每个任务中捕获异常，并记录错误信息，以便后续处理。

示例代码：

import javax.sql.DataSource;
import org.springframework.jdbc.core.JdbcTemplate;

public class DataImporter {
    private JdbcTemplate jdbcTemplate;

    public DataImporter(DataSource dataSource) {
        this.jdbcTemplate = new JdbcTemplate(dataSource);
    }

    public void importData(List<List<String>> data) {
        ThreadPoolManager.getExecutorService().submit(() -> {
            try {
                jdbcTemplate.execute("BEGIN");
                for (List<String> row : data) {
                    // Insert data into database
                    jdbcTemplate.update("INSERT INTO table_name (col1, col2) VALUES (?, ?)", row.get(0), row.get(1));
                }
                jdbcTemplate.execute("COMMIT");
            } catch (Exception e) {
                jdbcTemplate.execute("ROLLBACK");
                System.err.println("Error occurred: " + e.getMessage());
            }
        });
    }
}

5. 监控与日志

使用日志框架（如Logback或SLF4J）记录关键信息，包括成功、失败的事务，以及任何异常。

通过上述步骤，你可以构建一个高效、健壮的数据导入系统，该系统能够处理并发、异常，并保持数据一致性。在实际部署时，还需要根据具体需求调整线程池大小、数据库连接池配置等参数，以达到最佳性能。