Mysql批量插入和更新的性能

Question

利用Hibernate,连接池使用的是BoneCP,做了一个MySql批量插入和批量更新的Demo,出现了下面两个问题。
1.批量插入。我采用的是原生态的JDBC,每次批量插入60条数据左右(数据量不固定)，循环3000次。每次在循环到100次左右的时候，会出现“com.jolbox.bonecp.ConnectionPartition - BoneCP detected an unclosed connection and will now attempt to close it for you. You should be closing this connection in your application - enable connectionWatch for additional debugging assistance.”，紧接着程序就没有反映了。

2.批量更新。每次批量更新的数据量大约在3w条左右，居然要耗时16秒左右，有没有办法提高性能至2秒左右。代码如下：
[code="java"]
String sql = "replace into savedata(id , saveId , saveKey , value)values(?,?,?,?)";
Session session = getSessionFactory().openSession();
Connection conn = session.connection();
Transaction tx=getSessionFactory().openSession().beginTransaction();

try {
PreparedStatement stmt=conn.prepareStatement(sql);
for (Savedata savedata : list) {
stmt.setString(1, savedata.getId());
stmt.setString(2, savedata.getSaveId());
stmt.setString(3, savedata.getSaveKey());
stmt.setString(4, savedata.getValue());
stmt.addBatch();
}
stmt.executeBatch();
tx.commit();
} catch (Exception e) {

}finally{
    try {
        conn.close();
    } catch (SQLException e) {
        log.warn("the db connection cant not close!" ,e);
    }
    if(session.isOpen())
            session.close();
    }

[/code]

Answer 1

对于这种大数据量的更新情况，可以采用多线程的方式，每个线程更新100条数据，这样就能提高更新的速度了

当然这里的100只是一个猜想值，哪个值合适，需要你测试才能得出。我想的话，应该能比单线要快些，至于能不能优化到2s，这个就不清楚了

同时需要注意你的连接池大小、线程池大小（核心线程数）。这些资源也会影响到你的更新速度（即这些资源不能出现竞争）

最后，我对你需要更新这么大的数据量操作有一些疑问：
这个操作是online的吗？
这个操作的返回是实时的吗？

对于大数据量的更新一般会做成一个异步的操作，而不需要是实时的