java 多线程 批量执行JDBC的 executeBatch会产生脏数据嘛

java多线程并发,每个线程中会生成多个sql语句,利用JDBC的executeBatch方法
对每个线程的产生的sql语句进行入库操作,这样会不会导致写入脏数据:
比如:A线程正在写入100条数据,B线程也正在写入100条数据,当执行JDBC的批量执行SQL的时候,会不会把B的数据复制到A的数据 中:
JDBC的 方法如下:

String sql="insert into xxx(id,ratio,date,status,close)"
+ "values(?,?,?,?,?)";
PreparedStatement pst=conn.prepareStatement(sql);
String code="";
for(Today ts:tslist){
pst.setString(1, ts.getxxx);
pst.setDouble(2, ts.getxxx);
pst.setInt(3, ts.getxxx);
pst.setInt(4, ts.getxxx);
pst.setInt(5, ts.getxxx );
pst.addBatch();
}
int arr[]=pst.executeBatch();

这种数据库的批量操作,在多线程下,是不是会产生脏数据,请大牛们解答一下:

1个回答

这数据库没关系,关键看你插入数据不同线程之间是否有重复。

danielinbiti
danielinbiti 回复baidu_27823779: 数据没有关联性,和脏数据没关系
4 年多之前 回复
baidu_27823779
baidu_27823779 数据不会有重复,每个线程执行的数据不会有重复的,但是这个操作是在每个线程内做的,但是jdbc的批量方法又不是线程安全的,所以我感觉数据会产生一下一些脏数据
4 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
如何处理JDBC批量插入sql不支持多表的情况下的入库速率不稳定的问题?
是这样的,现在我要从来自Kafka的20多个topic中消费出数据,每个topic对应Clickhouse里面的一个表。 但是Clickhouse的JDBC批量插入只支持预编译SQL,即每个 PrepareStatement对象只能批量插入一个表的数据。如下: ``` Connection connection = getConnection(); PrepareStatement ps = connection.prepareStatement("insert into xxx values (?, ?, ?, ?)"); ps.setObject(1, xxx); ps.setObject(2, xxx); ps.setObject(3, xxx); ps.addBatch(); ps.executeBatch(); ps.clearBatch(); // ...... ``` 所以,我在入库程序把每个表的入库分为不同的线程,分别维护不同的PrepareStatement对象, 入库不同的表。比如现在有20个表,我设定每个表3个线程,那么总共就有60个入库线程。 但是这样子做的话,我无法保证入库的速率稳定,因为有的表数据量大,有的因为业务开启有时较大,而分配的入库线程是固定的。各位盆友有什么解决办法吗? ps:入库程序用的flume,用的官方的KafkaSource,然后写了一个Clickhouse的Sink,每个sink就是对应一个入库clickhouse的线程。Channel用的文件内存通道。当Kafka数据量大时,入库速率远远小于消费速率,可能导致Channel通道满,堆积大量磁盘文件,读写磁盘操作又进一步影响sink取数据,然后越来越慢。。最后Kafka都报一堆问题。 再ps:Clickhouse是6个节点的集群,三个分片,一个副本的配置。我批量插入设置150000条一次批量插入。
求解JDBC使用批处理executeBatch()之后commit(),数据库没有变化。
Java的JDBC使用批处理executeBatch()之后commit(),数据库没有变化。 代码 ``` public static boolean newProblem_state(List<User_t> auditorlist, Problems_t problems)throws ClassNotFoundException, SQLException { KrakenRecord.debug("正在建立关联"+auditorlist.size()); Class.forName("com.mysql.jdbc.Driver"); Connection conn = DriverManager.getConnection(URL, USER, PASSWORD); conn.setAutoCommit(false); // 设置手动提交 String sql = "insert into problemstate_ta (problemstate_problem_id,problemstate_auditor_id,problemstate_state) values(" + problems.getProblems_id() + ",?,0)"; PreparedStatement ps = conn.prepareStatement(sql); for (User_t user_t : auditorlist) { ps.setInt(1, user_t.getUser_id()); ps.addBatch();// 添加到批次 } int[] i = ps.executeBatch();// 提交批处理 conn.commit();// 执行 for (int j : i) { System.out.println(j); } // 关闭资源 ps.close(); conn.close(); return true; } ``` 以上代码运行后,显示: 正在建立关联4 1 1 1 1 auditorlist的size是4正确,打印的四个1应该是executeBatch()正确执行了,但是数据库没有变化,求解 补充:昨晚发现是插入的数据库没反应,也就是problemstate_ta 这个表,无法插入数据,命令没有写错,在Navicat中窗口模式手动插入数据,数据的自动增长id显示+1,插入数据也没有报错,但是刷新表,数据没了,求解
java JDBC 批量插入的时候报数组下标越界,求大神
代码: private static Boolean Function_User(Map<String, List> resultMap, String sql,String tableType) { // TODO Auto-generated method stub Connection conn=null; PreparedStatement insert_st=null; int count = 0; final int batchSize = 500; System.out.println("开始:"+Calendar.getInstance().getTime()); try { conn=DriverManager.getConnection(db_url,db_name,db_pwd); conn.setAutoCommit(false); insert_st = conn.prepareStatement(sql); for (int i = 0; i < resultMap.get(tableType).size(); i++) { Object obj = resultMap.get(tableType).get(i); OrderUserSnap user = (OrderUserSnap) obj; insert_st.setString(1, ZH_S(user.getId())); insert_st.addBatch(); if(++count % batchSize == 0) { insert_st.executeBatch(); insert_st.clearBatch(); } System.out.println("tt:"+count); } insert_st.executeBatch(); insert_st.clearBatch(); } catch (SQLException e) { // TODO Auto-generated catch block e.printStackTrace(); }finally{ try { insert_st.close(); conn.close(); System.out.println("结束:"+Calendar.getInstance().getTime()); } catch (SQLException e) { // TODO Auto-generated catch block e.printStackTrace(); } } return true; }
Java异常Could not execute JDBC batch update
org.hibernate.exception.ConstraintViolationException: Could not execute JDBC batch update at org.hibernate.exception.SQLStateConverter.convert(SQLStateConverter.java:94) ~[hibernate-3.3.2.jar:na] at org.hibernate.exception.JDBCExceptionHelper.convert(JDBCExceptionHelper.java:66) ~[hibernate-3.3.2.jar:na] at org.hibernate.jdbc.AbstractBatcher.executeBatch(AbstractBatcher.java:275) ~[hibernate-3.3.2.jar:na] at org.hibernate.engine.ActionQueue.executeActions(ActionQueue.java:266) ~[hibernate-3.3.2.jar:na] at org.hibernate.engine.ActionQueue.executeActions(ActionQueue.java:170) ~[hibernate-3.3.2.jar:na] at org.hibernate.event.def.AbstractFlushingEventListener.performExecutions(AbstractFlushingEventListener.java:321) ~[hibernate-3.3.2.jar:na] at org.hibernate.event.def.DefaultFlushEventListener.onFlush(DefaultFlushEventListener.java:50) [hibernate-3.3.2.jar:na] at org.hibernate.impl.SessionImpl.flush(SessionImpl.java:1028) [hibernate-3.3.2.jar:na] at org.hibernate.impl.SessionImpl.managedFlush(SessionImpl.java:366) [hibernate-3.3.2.jar:na] at org.hibernate.transaction.JDBCTransaction.commit(JDBCTransaction.java:137) [hibernate-3.3.2.jar:na] at org.springframework.orm.hibernate3.HibernateTransactionManager.doCommit(HibernateTransactionManager.java:656) [spring.orm-3.0.5.jar:3.0.5.RELEASE] at org.springframework.transaction.support.AbstractPlatformTransactionManager.processCommit(AbstractPlatformTransactionManager.java:754) [spring.transaction-3.0.5.jar:3.0.5.RELEASE] at org.springframework.transaction.support.AbstractPlatformTransactionManager.commit(AbstractPlatformTransactionManager.java:723) [spring.transaction-3.0.5.jar:3.0.5.RELEASE] at org.springframework.transaction.interceptor.TransactionAspectSupport.commitTransactionAfterReturning(TransactionAspectSupport.java:393) [spring.transaction-3.0.5.jar:3.0.5.RELEASE] at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:120) [spring.transaction-3.0.5.jar:3.0.5.RELEASE] at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172) [spring.aop-3.0.5.jar:3.0.5.RELEASE] at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:202) [spring.aop-3.0.5.jar:3.0.5.RELEASE] at com.sun.proxy.$Proxy21.updateAdmin(Unknown Source) [na:na] at com.jeecms.cms.action.admin.main.CmsAdminLocalAct.update(CmsAdminLocalAct.java:192) [CmsAdminLocalAct.class:na] at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) ~[na:1.6.0_45] at sun.reflect.NativeMethodAccessorImpl.invoke(Unknown Source) ~[na:1.6.0_45] at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) ~[na:1.6.0_45] at java.lang.reflect.Method.invoke(Unknown Source) ~[na:1.6.0_45] at org.springframework.web.bind.annotation.support.HandlerMethodInvoker.invokeHandlerMethod(HandlerMethodInvoker.java:176) [spring.web-3.0.5.jar:3.0.5.RELEASE] at org.springframework.web.servlet.mvc.annotation.AnnotationMethodHandlerAdapter.invokeHandlerMethod(AnnotationMethodHandlerAdapter.java:426) [spring.web.servlet-3.0.5.jar:3.0.5.RELEASE] at org.springframework.web.servlet.mvc.annotation.AnnotationMethodHandlerAdapter.handle(AnnotationMethodHandlerAdapter.java:414) [spring.web.servlet-3.0.5.jar:3.0.5.RELEASE] at org.springframework.web.servlet.DispatcherServlet.doDispatch(DispatcherServlet.java:790) [spring.web.servlet-3.0.5.jar:3.0.5.RELEASE] at org.springframework.web.servlet.DispatcherServlet.doService(DispatcherServlet.java:719) [spring.web.servlet-3.0.5.jar:3.0.5.RELEASE] at org.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:644) [spring.web.servlet-3.0.5.jar:3.0.5.RELEASE] at org.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:560) [spring.web.servlet-3.0.5.jar:3.0.5.RELEASE] at javax.servlet.http.HttpServlet.service(HttpServlet.java:643) [servlet-api.jar:na] at javax.servlet.http.HttpServlet.service(HttpServlet.java:723) [servlet-api.jar:na] at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:290) [catalina.jar:6.0.37] at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) [catalina.jar:6.0.37] at org.springframework.orm.hibernate3.support.OpenSessionInViewFilter.doFilterInternal(OpenSessionInViewFilter.java:198) [spring.orm-3.0.5.jar:3.0.5.RELEASE] at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:76) [spring.web-3.0.5.jar:3.0.5.RELEASE] at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:235) [catalina.jar:6.0.37] at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) [catalina.jar:6.0.37] at org.springframework.web.filter.CharacterEncodingFilter.doFilterInternal(CharacterEncodingFilter.java:88) [spring.web-3.0.5.jar:3.0.5.RELEASE] at org.springframework.web.filter.OncePerRequestFilter.doFilter(OncePerRequestFilter.java:76) [spring.web-3.0.5.jar:3.0.5.RELEASE] at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:235) [catalina.jar:6.0.37] at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) [catalina.jar:6.0.37] at com.jeecms.common.web.ProcessTimeFilter.doFilter(ProcessTimeFilter.java:35) [ProcessTimeFilter.class:na] at org.apache.catalina.core.ApplicationFilterChain.internalDoFilter(ApplicationFilterChain.java:235) [catalina.jar:6.0.37] at org.apache.catalina.core.ApplicationFilterChain.doFilter(ApplicationFilterChain.java:206) [catalina.jar:6.0.37] at org.apache.catalina.core.StandardWrapperValve.invoke(StandardWrapperValve.java:233) [catalina.jar:6.0.37] at org.apache.catalina.core.StandardContextValve.invoke(StandardContextValve.java:191) [catalina.jar:6.0.37] at org.apache.catalina.core.StandardHostValve.invoke(StandardHostValve.java:127) [catalina.jar:6.0.37] at org.apache.catalina.valves.ErrorReportValve.invoke(ErrorReportValve.java:103) [catalina.jar:6.0.37] at org.apache.catalina.core.StandardEngineValve.invoke(StandardEngineValve.java:109) [catalina.jar:6.0.37] at org.apache.catalina.connector.CoyoteAdapter.service(CoyoteAdapter.java:293) [catalina.jar:6.0.37] at org.apache.coyote.http11.Http11AprProcessor.process(Http11AprProcessor.java:879) [tomcat-coyote.jar:6.0.37] at org.apache.coyote.http11.Http11AprProtocol$Http11ConnectionHandler.process(Http11AprProtocol.java:617) [tomcat-coyote.jar:6.0.37] at org.apache.tomcat.util.net.AprEndpoint$Worker.run(AprEndpoint.java:1760) [tomcat-coyote.jar:6.0.37] at java.lang.Thread.run(Unknown Source) [na:1.6.0_45] Caused by: java.sql.BatchUpdateException: Duplicate entry '863455-186' for key 'PRIMARY' at com.mysql.jdbc.PreparedStatement.executeBatchSerially(PreparedStatement.java:2016) ~[mysql-connector-5.1.8.jar:na] at com.mysql.jdbc.PreparedStatement.executeBatch(PreparedStatement.java:1452) ~[mysql-connector-5.1.8.jar:na] at com.mchange.v2.c3p0.impl.NewProxyPreparedStatement.executeBatch(NewProxyPreparedStatement.java:1723) ~[c3p0-0.9.1.2.jar:0.9.1.2] at org.hibernate.jdbc.BatchingBatcher.doExecuteBatch(BatchingBatcher.java:70) ~[hibernate-3.3.2.jar:na] at org.hibernate.jdbc.AbstractBatcher.executeBatch(AbstractBatcher.java:268) ~[hibernate-3.3.2.jar:na] ... 52 common frames omitted
jdbc批量插入抛异常,怎么找到有问题的数据
批量插入一批数据,如果这批数据中,有几条是有问题的,executeBatch会出异常,我怎么挑出来,是那几条有问题
JDBC mysql批处理 插入数据似乎遇到了条数限制,请教解决方法
``` protected void doPost(HttpServletRequest request, HttpServletResponse response) throws ServletException, IOException { String sql = "INSERT INTO data VALUES(?)"; PreparedStatement ps = null; try { //设置不允许自动提交数据,connection为类私有变量,在init方法中赋值 connection.setAutoCommit(false); ps = connection.prepareStatement(sql); for (int i = 0; i < 20000; i++) { ps.setObject(1, i); //攒sql ps.addBatch(); //执行batch if (i % 1000 == 0) { ps.executeBatch(); //清空batch ps.clearBatch(); } } //全部执行完后一次提交数据 connection.commit(); } catch (SQLException e) { e.printStackTrace(); } } ``` 只能插入500条不知是不是数据库插入条数限制 mysql URL配置: jdbc:mysql://localhost:3306?useUnicode=true&characterEncoding=UTF-8&useJDBCCompliantTimezoneShift=true&useLegacyDatetimeCode=false&serverTimezone=UTC 我把i的初始值改为10000,再次运行程序,数据库数据没有任何变化
JAVA中使用JDBC做批量处理时,没有报错,但是数据没有插入数据库
@Override public void addAllEmp(List<Employee> employees) { Connection conn = null; PreparedStatement pst = null; try { conn = JDBCUtil.getConnect(); conn.setAutoCommit(false); pst = conn.prepareStatement("insert into jdbc_emp values(jdbc_emp_id.nextval,?,?,?"); int count = 0; for (Employee employee : employees) { pst.setString(1, employee.getName()); pst.setString(2, employee.getPassword()); pst.setDouble(3, employee.getSal()); count++; if (count==100) { //执行批处理 pst.executeBatch(); //清空参数 pst.clearParameters(); count = 0; } } pst.executeBatch(); conn.commit(); } catch (ClassNotFoundException e) { // TODO Auto-generated catch block e.printStackTrace(); } catch (SQLException e) { /*if (conn != null) { try { conn.rollback(); } catch (SQLException e1) { e1.printStackTrace(); } }*/ // TODO Auto-generated catch block e.printStackTrace(); }finally{ JDBCUtil.close(conn, pst); }
Statement executeBatch()批量提交效率好低 求高手答疑
数据大概一共有10W条左右,不固定, 每条sql固定格式都不太一样, 分别是对不同的表做的新增或则修改的操作 所以无法用模板?的形式操作 下面是代码 其中设置的是每1000条数据提交一次 然后这1000条数据却需要大概12S左右, 整个数据跑下来十几分钟 如果是每3000条提交一次,时间也大概是40S左右, 感觉不应该这么慢啊 数据库为Oracle.. 求高手指点一下优化方案 ```java Session session = baseDAO.getSessionFactory().openSession(); Connection conn = session.connection(); Statement stmt = null; try { conn.setAutoCommit(false); // 关闭自动提交 stmt = conn.createStatement(); for(int i=0; i<sqlList.size(); i++){ stmt.addBatch(sqlList.get(i)); //System.out.println(sqlList.get(i)); if (i % 1000 == 0 && i != 0) { long startTime = System.currentTimeMillis(); stmt.executeBatch(); conn.commit(); stmt.clearBatch(); System.out.println("executeBatch 执行使用了 :"+(System.currentTimeMillis() - startTime )/1000 + " 秒"); } } // 执行批处理语句 stmt.executeBatch(); // 执行剩下的不到1000条的数据 conn.commit(); conn.setAutoCommit(true);//在把自动提交打开 } catch (SQLException he) { he.printStackTrace(); try { conn.rollback(); } catch (SQLException e) { e.printStackTrace(); } } finally { if (stmt != null) { try { stmt.close(); } catch (SQLException sqlex) { System.err.println(this.getClass().getName() + ".mymethod - 不能关闭数据库连接: " + sqlex.toString()); } } if (conn != null) { try { conn.close(); } catch (SQLException sqlex) { System.err.println(this.getClass().getName() + ".mymethod - 不能关闭数据库连接: " + sqlex.toString()); } } session.close(); } ```
jdbc preparestatement 批量提交问题
``` public static void addRecord(String tableName,String title,List<Object> contents){ long count = 0; Integer time = 0; Connection conn = getConn(); try { conn.setAutoCommit(false); } catch (SQLException e1) { // TODO Auto-generated catch block e1.printStackTrace(); } PreparedStatement ps = null; StringBuffer sql = new StringBuffer(); StringBuffer sb = new StringBuffer(); try { for (int i = 0; i < contents.size(); i++) { sql.setLength(0); sb.setLength(0); sb.append(((List)contents.get(i)).get(0).toString()); //sql.append("insert into "+tableName+" ("+title+") values ( "+sb.toString().replaceAll("\"","'")+" )"); sql.append("insert into "+tableName+" ("+title+") values ( "+sb.toString()+" )"); ps = conn.prepareStatement(sql.toString()); ps.addBatch(); count++; if(time<=(count/10000)){ if(count%10000==0){ time++; ps.executeBatch(); conn.commit(); //conn.setAutoCommit(true); } } if((time==(contents.size()/10000))&&(count%10000)!=0&&count==contents.size()){ System.out.println("提交数据"); int[] executeBatch = ps.executeBatch(); System.out.println(executeBatch.toString()); conn.commit(); //conn.setAutoCommit(true); } } } catch (SQLException e) { // TODO Auto-generated catch block e.printStackTrace(); }finally{ Close(null, ps, null); } ``` 数据不能全部提交而且只有一条不是最后的记录,是中间的记录,为什么??
executeBatch()出错后如何继续执行剩下的sql语句
对于Statement.executeBatch(),只要批处理的一个sql执行出错,就抛出SQLException,后面的sql语句就不执行了。 我想让它出错了也继续执行,该怎么做? 我的目的是:批量插入操作 我把一个字段设置成Unique索引,如果重复就不插入了。如果不用Unique,就要自己先select判断是否重复,这样要加入是事务或锁,麻烦也影响速度。 我该怎么处理好?
JAVA中如何执行建库,表SQL脚本
怎么用JAVA做的 SWT 程序中调用 SQL脚本(有更好的方式也介绍下),执行后数据库,表,索引,权限等都建好了。 java.sql.BatchUpdateException: 未能在 sysdatabases 中找到数据库 'DigiTalDATA' 所对应的条目。没有找到具有该名称的条目。请确保正确地输入了名称。 at com.microsoft.sqlserver.jdbc.SQLServerStatement.executeBatch(Unknown Source) 本人用JAVA读取所有SQL,批量执行后就报上面错误。目前仅在SQL中测试 因为去掉GO或其它原因,未知??!! ArrayList<String> sqllist= loadsql(sqlfilepath); conn.setAutoCommit(false); stmt = conn.createStatement(); for (String sql : sqllist) { stmt.addBatch(sql); } stmt.executeBatch();
jdbc批量插入,数据只有一条
我统一10条插入一次,可是最后数据库只有第十条数据,前九条都没有,插入几次都是,怎么办 List<String> backList = new ArrayList<String>(); Connection con = getConnection(); PreparedStatement stat = null; String str= null; int j = 0; for(int i=0;i<list.size();i++){ str = list.get(i); String[] arr = str.split(","); j++; if(arr.length ==10){ try { String name = arr[0]; String pinyin = arr[1]; String age = arr[2]; String sex = arr[3]; String phone = arr[4]; String mobilephone = arr[5]; String address = arr[6]; String birthday = arr[7]; String birthPlace = arr[8]; String company = arr[9]; //根据参数动态拼一个insert语句("+deptno+",'"+dname+"','"+loc+"')" String sql = "insert into user_info "+"values ('"+name+"','"+pinyin+"','"+age+"','"+ sex+"','"+phone+"','"+mobilephone+"','"+address+"','"+birthday+"','"+birthPlace+"','"+company+"')"; stat = con.prepareStatement(sql); System.out.println(sql); stat.addBatch(); System.out.println("sql语句加入批处理中"); } catch (SQLException e2) { // TODO Auto-generated catch block } } if(j == list.size()){ int s [] = stat.executeBatch(); for(int a:s){ System.out.println(a); } } } try { stat.close(); con.close(); } catch (SQLException e1) { e1.printStackTrace(); }
关于调用addbatch 批量执行sql的疑问
大家好啊,最近遇到一个很头疼的问题,在调用addbatch批量执行sql的时候 批量操作不同的表,一般情况下都没有问题,为什么有时候会执行不成功呢?比如: conn.setAutoCommit(false); stm.addbatch("delete from table1 where ...."); stm.addbatch("insert into table1 values(......)"); stm.addbatch("update table2 set ...where ..."); stm.executeBatch(); conn.commit(); 通常情况下执行是没有问题的,但为什么有时候会insert失败呢? 实在是搞不明白为什么,请大家帮忙了 先谢了! [b]问题补充:[/b] 在录入时前台都用js经过校验了 数据是正确的,executeBatch()这个方法 如果其中有一条执行不成功是不是都不执行呢?
Eclipse用JAVA连接Mysql 插入大量数据报错 Java heap space
public void Get_WayId_Ref_isWay() throws IOException { PreparedStatement ps = null; Connection con=null; BufferedReader br=new BufferedReader(new FileReader(Path.path_read_beijing)); StringBuffer s=null; StringBuffer wayId=null; StringBuffer isWay=new StringBuffer("false"); String regex_nd="\\d+"; //用匹配<way id后面的数字 String regex_id="(?<=id=\")\\d+"; //读取整个文件信息 try { Class.forName(driver).newInstance(); con=DriverManager.getConnection(url,user,pwd); con.setAutoCommit(false); int count=0; int batchCount=1; while((s=new StringBuffer(br.readLine()))!=null) { count++; ArrayList<StringBuffer> tmp=new ArrayList<StringBuffer>(); //找出way类的信息 if(batchCount%100==0) { ps.clearBatch(); } if(s.indexOf("<way")>0) { //获得每一组WayId Pattern p1=Pattern.compile(regex_id); Matcher m1=p1.matcher(s); if(m1.find()) { wayId=new StringBuffer(m1.group()); } while (s.indexOf("</way>") <= 0) { count++; s=new StringBuffer(br.readLine()); //获得该wayid下的refid if(s.indexOf("<nd")>0) { System.out.println("所在行数:"+count); Pattern p=Pattern.compile(regex_nd); Matcher m=p.matcher(s); if(m.find()) { tmp.add(new StringBuffer(m.group())); } } //判断该way是否为道路 if(s.indexOf("<tag k=\"highway\"")>0||s.indexOf("<tag k=\"cycleway\"")>0||s.indexOf("<tag k=\"bridge\"")>0) { isWay=new StringBuffer("true"); } } for(int i=0;i<tmp.size();i++) { if(isWay.toString().equals("true")) { batchCount++; StringBuffer sql1 = new StringBuffer(); sql1.append("insert into test_wayid(wayid,id,isway) values("); sql1.append("'" +wayId+"'"); sql1.append(", '"+tmp.get(i)+"', '"+"1');"); ps=con.prepareStatement(sql1.toString()); ps.addBatch(); } if(isWay.toString().equals("false")) { batchCount++; StringBuffer sql1 = new StringBuffer(); sql1.append("insert into test_wayid(wayid,id,isway) values("); sql1.append("'" +wayId+"'"); sql1.append(", '"+tmp.get(i)+"', '"+"1');"); ps=con.prepareStatement(sql1.toString()); ps.addBatch(); } ps.executeBatch(); if(batchCount%100==0) { con.commit(); } } } } con.commit(); } catch (Exception e) { e.printStackTrace(); // TODO: handle exception }finally{ try { if(ps!=null) ps.close(); if(con!=null) con.close(); } catch (Exception e2) { e2.printStackTrace(); } } } 报的错误是: java.sql.SQLException: java.lang.OutOfMemoryError: Java heap space at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1055) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:956) at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:926) at com.mysql.jdbc.Util.handleNewInstance(Util.java:430) at com.mysql.jdbc.PreparedStatement.getInstance(PreparedStatement.java:561) at com.mysql.jdbc.ConnectionImpl.clientPrepareStatement(ConnectionImpl.java:1395) at com.mysql.jdbc.ConnectionImpl.prepareStatement(ConnectionImpl.java:4178) at com.mysql.jdbc.ConnectionImpl.prepareStatement(ConnectionImpl.java:4077) at Wayid_To_Sql.Get_Map_Line_beta.Get_WayId_Ref_isWay(Get_Map_Line_beta.java:128) at Wayid_To_Sql.Get_Map_Line_beta.main(Get_Map_Line_beta.java:35)
源生的sql语句有没有像ps.addBatch()这种放到一起,然后一并executeBatch()
本人对sql操作不是很熟练,但是很想知道,sql的语句是一条一条执行的,有没有能够像预编译那样的,把这些操作放到一起,然后执行executeBatch(); 有的话,大神能给出例子吗?比如是用了什么函数什么的。 在java里的操作这种就不用了,就想知道有没有sql语句能这么写的
jdbc批处理的addBatch问题
``` preparedstatement = connection.prepareStatement(sql.toString()); for (int i = 0; i < list.size(); i++) { Map map = list.get(i); Set<Entry> entries = map.entrySet(); for (Entry entry : entries) { preparedstatement.setString(size, entry.getValue().toString()); size++; } preparedstatement.addBatch(); if(++count % DB_BATCHSIZE == 0){ preparedstatement.executeBatch(); } } preparedstatement.executeBatch(); ``` sql语句没有问题, 因为已经执行成功, 但是!!! 只能执行一条数据 list如果只有1条数据则执行成功 , 如果超过1条,报错 错误为 索引中丢失 IN 或 OUT 参数 ::10 搞了一天了没弄明白, 求解
com.mysql.jdbc.exceptions.MySQLIntegrityConstraintViolationException:
WEB系统报以下的错,是为什么? Caused by: java.sql.BatchUpdateException: Duplicate entry '3592030993-2011-11-23 19:22:45' for key 'PRIMARY' at com.mysql.jdbc.PreparedStatement.executeBatchSerially(PreparedStatement.java:2024) at com.mysql.jdbc.PreparedStatement.executeBatch(PreparedStatement.java:1449) at weblogic.jdbc.wrapper.PreparedStatement.executeBatch(PreparedStatement.java:157) at com.longshine.indigo.dbutils.manager.WrapperStatement.executeBatch(Unknown Source) ... 47 more Caused by: com.mysql.jdbc.exceptions.MySQLIntegrityConstraintViolationException: Duplicate entry '3592030993-2011-11-23 19:22:45' for key 'PRIMARY' at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1036) at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3597) at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3529) at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1990) at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2151) at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2625) at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:2119) at com.mysql.jdbc.PreparedStatement.executeUpdate(PreparedStatement.java:2415) at com.mysql.jdbc.PreparedStatement.executeBatchSerially(PreparedStatement.java:1976) ... 50 more
使用addBatch与executeBatch批量处理SQL
我这样写对吗,我感觉好怪异啊,没用过这个东西。 请老哥们,帮我看下改如何修改才能做到同时处理2条SQL 而且那格式化参数,我不知道怎么设置到数据库中,请老哥们帮忙纠正下,或者给个原例子看一下。 那个executeBatch是这样判断是否插入成功吗 谢谢了。 [code="java"] public boolean InsertUpDeOrderData(CheckOutBean bean) { String sql = "insert into tb_order values(?,?,?,?,?,?,?,?,?,?)"; String sq2 = "insert into tb_order_detail values(?,?,?,?,?,?)"; Object [] obj = { bean.getUser_id(),bean.getCh_name(),bean.getAddress(),bean.getPostalcode(), bean.getPhone(),bean.getMobile(),bean.getEmail(),bean.getSendtype(), bean.getPaytype(),bean.getPostscript() }; return this.InsertUpDeOrderData(sql,sq2,obj); } [/code] 这两个方法不在同一类中 [code="java"] public boolean InsertUpDeOrderData(String sql,String sq2 ,Object [] obj){ con = DBUtil.getConnection(); int [] in = null; boolean bool = true; try { con.setAutoCommit(false); stm = con.prepareStatement(sql); stm.addBatch(sql); stm.addBatch(sq2); if(obj != null){ for(int x = 0 ; x<obj.length ; x++){ stm.setObject(x+1, obj[x]); } } in = stm.executeBatch(); for(int x = 0 ; x < in.length; x++){ if(in[x]<=0){ bool = false; } } } catch (SQLException e) { e.printStackTrace(); }finally{ DBUtil.CloseAll(con, stm, rs); } return bool; } [/code]
相见恨晚的超实用网站
相见恨晚的超实用网站 持续更新中。。。
字节跳动视频编解码面经
三四月份投了字节跳动的实习(图形图像岗位),然后hr打电话过来问了一下会不会opengl,c++,shador,当时只会一点c++,其他两个都不会,也就直接被拒了。 七月初内推了字节跳动的提前批,因为内推没有具体的岗位,hr又打电话问要不要考虑一下图形图像岗,我说实习投过这个岗位不合适,不会opengl和shador,然后hr就说秋招更看重基础。我当时想着能进去就不错了,管他哪个岗呢,就同意了面试...
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它是一个过程,是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 free -m 其中:m表示兆,也可以用g,注意都要小写 Men:表示物理内存统计 total:表示物理内存总数(total=used+free) use...
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
python学习方法总结(内附python全套学习资料)
不要再问我python好不好学了 我之前做过半年少儿编程老师,一个小学四年级的小孩子都能在我的教学下独立完成python游戏,植物大战僵尸简单版,如果要肯花时间,接下来的网络开发也不是问题,人工智能也可以学个调包也没啥问题。。。。。所以python真的是想学就一定能学会的!!!! --------------------华丽的分割线-------------------------------- ...
python 简易微信实现(注册登录+数据库存储+聊天+GUI+文件传输)
socket+tkinter详解+简易微信实现 历经多天的努力,查阅了许多大佬的博客后终于实现了一个简易的微信O(∩_∩)O~~ 简易数据库的实现 使用pands+CSV实现数据库框架搭建 import socket import threading from pandas import * import pymysql import csv # 创建DataFrame对象 # 存储用户数据的表(...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发...
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 演示地点演示 html代码如下` music 这个年纪 七月的风 音乐 ` 然后就是css`*{ margin: 0; padding: 0; text-decoration: none; list-...
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。
数据库优化 - SQL优化
以实际SQL入手,带你一步一步走上SQL优化之路!
2019年11月中国大陆编程语言排行榜
2019年11月2日,我统计了某招聘网站,获得有效程序员招聘数据9万条。针对招聘信息,提取编程语言关键字,并统计如下: 编程语言比例 rank pl_ percentage 1 java 33.62% 2 cpp 16.42% 3 c_sharp 12.82% 4 javascript 12.31% 5 python 7.93% 6 go 7.25% 7 p...
通俗易懂地给女朋友讲:线程池的内部原理
餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”
《奇巧淫技》系列-python!!每天早上八点自动发送天气预报邮件到QQ邮箱
将代码部署服务器,每日早上定时获取到天气数据,并发送到邮箱。 也可以说是一个小型人工智障。 知识可以运用在不同地方,不一定非是天气预报。
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
Python实例大全(基于Python3.7.4)
博客说明: 这是自己写的有关python语言的一篇综合博客。 只作为知识广度和编程技巧学习,不过于追究学习深度,点到即止、会用即可。 主要是基础语句,如三大控制语句(顺序、分支、循环),随机数的生成,数据类型的区分和使用; 也会涉及常用的算法和数据结构,以及面试题相关经验; 主体部分是针对python的数据挖掘和数据分析,主要先攻爬虫方向:正则表达式匹配,常用数据清洗办法,scrapy及其他爬虫框架,数据存储方式及其实现; 最后还会粗略涉及人工智能领域,玩转大数据与云计算、进行相关的预测和分析。
腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹?
昨天,有网友私信我,说去阿里面试,彻底的被打击到了。问了为什么网上大量使用ThreadLocal的源码都会加上private static?他被难住了,因为他从来都没有考虑过这个问题。无独有偶,今天笔者又发现有网友吐槽了一道腾讯的面试题,我们一起来看看。 腾讯算法面试题:64匹马8个跑道需要多少轮才能选出最快的四匹? 在互联网职场论坛,一名程序员发帖求助到。二面腾讯,其中一个算法题:64匹...
面试官:你连RESTful都不知道我怎么敢要你?
干货,2019 RESTful最贱实践
刷了几千道算法题,这些我私藏的刷题网站都在这里了!
遥想当年,机缘巧合入了 ACM 的坑,周边巨擘林立,从此过上了"天天被虐似死狗"的生活… 然而我是谁,我可是死狗中的战斗鸡,智力不够那刷题来凑,开始了夜以继日哼哧哼哧刷题的日子,从此"读题与提交齐飞, AC 与 WA 一色 ",我惊喜的发现被题虐既刺激又有快感,那一刻我泪流满面。这么好的事儿作为一个正直的人绝不能自己独享,经过激烈的颅内斗争,我决定把我私藏的十几个 T 的,阿不,十几个刷题网...
为啥国人偏爱Mybatis,而老外喜欢Hibernate/JPA呢?
关于SQL和ORM的争论,永远都不会终止,我也一直在思考这个问题。昨天又跟群里的小伙伴进行了一番讨论,感触还是有一些,于是就有了今天这篇文。 声明:本文不会下关于Mybatis和JPA两个持久层框架哪个更好这样的结论。只是摆事实,讲道理,所以,请各位看官勿喷。 一、事件起因 关于Mybatis和JPA孰优孰劣的问题,争论已经很多年了。一直也没有结论,毕竟每个人的喜好和习惯是大不相同的。我也看...
SQL-小白最佳入门sql查询一
不要偷偷的查询我的个人资料,即使你再喜欢我,也不要这样,真的不好;
JavaScript 为什么能活到现在?
作者 | 司徒正美 责编 |郭芮 出品 | CSDN(ID:CSDNnews) JavaScript能发展到现在的程度已经经历不少的坎坷,早产带来的某些缺陷是永久性的,因此浏览器才有禁用JavaScript的选项。甚至在jQuery时代有人问出这样的问题,jQuery与JavaScript哪个快?在Babel.js出来之前,发明一门全新的语言代码代替JavaScript...
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
Nginx 原理和架构
Nginx 是一个免费的,开源的,高性能的 HTTP 服务器和反向代理,以及 IMAP / POP3 代理服务器。Nginx 以其高性能,稳定性,丰富的功能,简单的配置和低资源消耗而闻名。 Nginx 的整体架构 Nginx 里有一个 master 进程和多个 worker 进程。master 进程并不处理网络请求,主要负责调度工作进程:加载配置、启动工作进程及非停升级。worker 进程负责处...
致 Python 初学者
欢迎来到“Python进阶”专栏!来到这里的每一位同学,应该大致上学习了很多 Python 的基础知识,正在努力成长的过程中。在此期间,一定遇到了很多的困惑,对未来的学习方向感到迷茫。我非常理解你们所面临的处境。我从2007年开始接触 python 这门编程语言,从2009年开始单一使用 python 应对所有的开发工作,直至今天。回顾自己的学习过程,也曾经遇到过无数的困难,也曾经迷茫过、困惑过。开办这个专栏,正是为了帮助像我当年一样困惑的 Python 初学者走出困境、快速成长。希望我的经验能真正帮到你
Python 编程开发 实用经验和技巧
Python是一门很灵活的语言,也有很多实用的方法,有时候实现一个功能可以用多种方法实现,我这里总结了一些常用的方法和技巧,包括小数保留指定位小数、判断变量的数据类型、类方法@classmethod、制表符中文对齐、遍历字典、datetime.timedelta的使用等,会持续更新......
吐血推荐珍藏的Visual Studio Code插件
作为一名Java工程师,由于工作需要,最近一个月一直在写NodeJS,这种经历可以说是一部辛酸史了。好在有神器Visual Studio Code陪伴,让我的这段经历没有更加困难。眼看这段经历要告一段落了,今天就来给大家分享一下我常用的一些VSC的插件。 VSC的插件安装方法很简单,只需要点击左侧最下方的插件栏选项,然后就可以搜索你想要的插件了。 下面我们进入正题 Material Theme ...
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
程序员:我终于知道post和get的区别
是一个老生常谈的话题,然而随着不断的学习,对于以前的认识有很多误区,所以还是需要不断地总结的,学而时习之,不亦说乎
相关热词 基于c#波形控件 c# 十进制转十六进制 对文件aes加密vc# c#读取栈中所有的值 c# rsa256加密 好 学c# 还是c++ c# 和java的差距 c# curl网络框架 c# https证书请求 c# 中崎
立即提问