flybar0015 2011-05-12 15:18
浏览 1417
已采纳

spring jdbctemplate batch 可以处理多少条记录

[code="java"]
//1、统计一共多少数据
int countNum = jdbcTamplate1.queryForInt("select count(0) from tabA") ;

    System.out.println("总记录条数为:"+countNum);

    int l = (countNum + 29999) / 30000 ;

    jdbcTamplate2.getDataSource().getConnection().setAutoCommit(false) ;

    for(int i=0; i<l; i++){

        int startRowNum = i * 30000 ;
        int endRowNum = (i+1) * 30000 ;
        if(i == l-1){
            endRowNum = countNum ;
        }

        //构造查询语句
        StringBuilder sql = new StringBuilder() ;
        sql.append("select ID, X, Y, from (") ;
        sql.append("select rownum r, ID, X, Y from tabA where rownum <= ") ;
        sql.append(endRowNum + " ") ;
        sql.append("order by ID asc) ") ;
        sql.append("where r > ") ;
        sql.append(startRowNum) ;

        List<Map<String, Object>> rs = jdbcTamplate1.queryForList(sql.toString()) ;             
        System.out.println((i+1)+"[]获得结果集记录数:"+rs.size());

        int[] ns = jdbcTamplate1.batchUpdate(Locrecord.INSERT_SQL, new LocrecordBatchSetter(rs)) ;

        System.out.println((i+1)+"[]本次batch记录数:"+ns.length);

        jdbcTamplate1.getDataSource().getConnection().commit() ;            

        Thread.sleep(10000) ;

        System.out.println((i+1)+"[]本次循环结束!");
    }

    jdbcTamplate1.getDataSource().getConnection().setAutoCommit(true) ;

    [/code]

其中,Locrecord.INSERT_SQL这个就是简单的insert语句,只插入3个字段,后边的这个LocrecordBatchSetter

也很简单,就是把新表的字段和旧表的字段对应上。比如:
[code="java"]
public void setValues(PreparedStatement pstmt, int i) throws SQLException {

Map<String, Object> obj = list.get(i) ;

pstmt.setString(1, obj.get("ID")+"") ;
pstmt.setInt(2, (obj.get("X")) ;
pstmt.setInt(3, obj.get("Y")) ;

}
[/code]

我是从一个库的表A导数据到另一个库的表B,他们的表结构不一样,只是提出部份可以匹配的字段。

原表有数据73W,我每次导入3W,可是每次循环到21W数据的时候程序就没反应了。也不抛任何异常。控制台显示程序还在进行。

去数据库一看,只有21W数据进入,剩下的就没戏了。想问问用过batch插入的兄弟们。你们碰见过这样的情况吗?
应该如何解决呢?或者使用batch时,还应该注意哪些事情?

  • 写回答

11条回答 默认 最新

  • redstarofsleep 2011-05-13 15:36
    关注

    第8行和第34行拿到的是同一个connection吗?

    第8行拿了把它放个变量里吧,下面直接操作这个connection
    Conncetion conn = jdbcTamplate2.getDataSource().getConnection()

    还有个问题,为什么第8行是jdbcTamplate2其它是jdbcTamplate1

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(10条)

报告相同问题?

悬赏问题

  • ¥15 HFSS 中的 H 场图与 MATLAB 中绘制的 B1 场 部分对应不上
  • ¥15 如何在scanpy上做差异基因和通路富集?
  • ¥20 关于#硬件工程#的问题,请各位专家解答!
  • ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
  • ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
  • ¥30 截图中的mathematics程序转换成matlab
  • ¥15 动力学代码报错,维度不匹配
  • ¥15 Power query添加列问题
  • ¥50 Kubernetes&Fission&Eleasticsearch
  • ¥15 報錯:Person is not mapped,如何解決?