Mysql批量导入，批量更新

Question

需求：通过excel导入20万条数据，目标表有40个字段，excel提供17个字段，后端入库前要对excel提供的每一个数据进行规则校验，并 为其余字段赋值，
目前方案：使用easyExcel+JDBC，手动创建关闭连接，手动提交，jdbc批量处理
读取20万条数据耗时15s，后端校验重新赋值15s，插入数据库30s
效率有点低，怎样优化提高效率呢

Answer 1

1.插入批量，最好用mybatis原生的foreach标签来处理。否则自行循环插入效率很低。
2.我觉得你消耗的时间更多在于数据处理。你需要自行优化。
3.easyExcel读取的时候一次读取2000左右就行，不要大量数据读取进内存。