flybar0015 2011-05-12 15:18
浏览 1417
已采纳

spring jdbctemplate batch 可以处理多少条记录

[code="java"]
//1、统计一共多少数据
int countNum = jdbcTamplate1.queryForInt("select count(0) from tabA") ;

    System.out.println("总记录条数为:"+countNum);

    int l = (countNum + 29999) / 30000 ;

    jdbcTamplate2.getDataSource().getConnection().setAutoCommit(false) ;

    for(int i=0; i<l; i++){

        int startRowNum = i * 30000 ;
        int endRowNum = (i+1) * 30000 ;
        if(i == l-1){
            endRowNum = countNum ;
        }

        //构造查询语句
        StringBuilder sql = new StringBuilder() ;
        sql.append("select ID, X, Y, from (") ;
        sql.append("select rownum r, ID, X, Y from tabA where rownum <= ") ;
        sql.append(endRowNum + " ") ;
        sql.append("order by ID asc) ") ;
        sql.append("where r > ") ;
        sql.append(startRowNum) ;

        List<Map<String, Object>> rs = jdbcTamplate1.queryForList(sql.toString()) ;             
        System.out.println((i+1)+"[]获得结果集记录数:"+rs.size());

        int[] ns = jdbcTamplate1.batchUpdate(Locrecord.INSERT_SQL, new LocrecordBatchSetter(rs)) ;

        System.out.println((i+1)+"[]本次batch记录数:"+ns.length);

        jdbcTamplate1.getDataSource().getConnection().commit() ;            

        Thread.sleep(10000) ;

        System.out.println((i+1)+"[]本次循环结束!");
    }

    jdbcTamplate1.getDataSource().getConnection().setAutoCommit(true) ;

    [/code]

其中,Locrecord.INSERT_SQL这个就是简单的insert语句,只插入3个字段,后边的这个LocrecordBatchSetter

也很简单,就是把新表的字段和旧表的字段对应上。比如:
[code="java"]
public void setValues(PreparedStatement pstmt, int i) throws SQLException {

Map<String, Object> obj = list.get(i) ;

pstmt.setString(1, obj.get("ID")+"") ;
pstmt.setInt(2, (obj.get("X")) ;
pstmt.setInt(3, obj.get("Y")) ;

}
[/code]

我是从一个库的表A导数据到另一个库的表B,他们的表结构不一样,只是提出部份可以匹配的字段。

原表有数据73W,我每次导入3W,可是每次循环到21W数据的时候程序就没反应了。也不抛任何异常。控制台显示程序还在进行。

去数据库一看,只有21W数据进入,剩下的就没戏了。想问问用过batch插入的兄弟们。你们碰见过这样的情况吗?
应该如何解决呢?或者使用batch时,还应该注意哪些事情?

  • 写回答

11条回答 默认 最新

  • redstarofsleep 2011-05-13 15:36
    关注

    第8行和第34行拿到的是同一个connection吗?

    第8行拿了把它放个变量里吧,下面直接操作这个connection
    Conncetion conn = jdbcTamplate2.getDataSource().getConnection()

    还有个问题,为什么第8行是jdbcTamplate2其它是jdbcTamplate1

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(10条)

报告相同问题?

悬赏问题

  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题!
  • ¥15 drone 推送镜像时候 purge: true 推送完毕后没有删除对应的镜像,手动拷贝到服务器执行结果正确在样才能让指令自动执行成功删除对应镜像,如何解决?
  • ¥15 求daily translation(DT)偏差订正方法的代码
  • ¥15 js调用html页面需要隐藏某个按钮
  • ¥15 ads仿真结果在圆图上是怎么读数的
  • ¥20 Cotex M3的调试和程序执行方式是什么样的?
  • ¥20 java项目连接sqlserver时报ssl相关错误
  • ¥15 一道python难题3
  • ¥15 牛顿斯科特系数表表示