有一个需求更新5W数据,求一个好的方案 5C

有一个需求更新5W数据,求一个好的方案,java,mysql,redis

0

5个回答

可以采用数据库批量更新,比如一次更新50条

0
qq_37486884
违羌 如果批量更新时有某一条失败了怎么办?后面的继续还是不继续?还是说直接就rollback?
11 个月之前 回复

package me.gacl.demo;

import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import me.gacl.utils.JdbcUtils;
import org.junit.Test;

/**

  • @ClassName: JdbcBatchHandleByStatement
  • @Description: 使用Statement实现JDBC批处理操作
  • @author: 孤傲苍狼
  • @date: 2014-9-20 下午10:05:45
    *
    */
    public class JdbcBatchHandleByStatement {

    @Test
    public void testJdbcBatchHandleByStatement(){
    Connection conn = null;
    Statement st = null;
    ResultSet rs = null;
    try{
    conn = JdbcUtils.getConnection();
    String sql1 = "insert into testbatch(id,name) values(1,'aaa')";
    String sql2 = "insert into testbatch(id,name) values(2,'bbb')";
    String sql3 = "insert into testbatch(id,name) values(3,'CCC')";
    String sql4 = "insert into testbatch(id,name) values(4,'DDD')";
    String sql5 = "update testbatch set name='gacl' where id=1";
    String sql6 = "insert into testbatch(id,name) values(5,'FFF')";
    String sql7 = "delete from testbatch where id=2";
    st = conn.createStatement();
    //添加要批量执行的SQL
    st.addBatch(sql1);
    st.addBatch(sql2);
    st.addBatch(sql3);
    st.addBatch(sql4);
    st.addBatch(sql5);
    st.addBatch(sql6);
    st.addBatch(sql7);
    //执行批处理SQL语句
    st.executeBatch();
    //清除批处理命令
    st.clearBatch();
    }catch (Exception e) {
    e.printStackTrace();
    }finally{
    JdbcUtils.release(conn, st, rs);
    }
    }
    }

0

可以根据实际需要,将5万条数据集合截取为10个集合,每个集合是5千数据,然后开启10个线程,每个线程链接一次数据库,sql批量更新对应的5千数据。

0

https://ask.csdn.net/questions/698319
这个是和你类似的场景,我当时给出的答案,你的模仿着写就行了,望采纳!

0

就使用jdbc原始的方法,在建立连接后,
第一步 创建statement,
第二步 设置不自动提交,开启事务,conn.setAutoCommit(false)
第三步 执行sql,直接5w条sql一次批量执行,jdbc完全支持,项目中测过30w的5万执行6次,每次一分钟左右
第四步 判断是否有异常,有异常事务回滚,没有异常执行成功。
第五步 提交conn.commit()

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
7.5W10W无线充电解决方案原理图
7.5W、10W手机无线充电解决方案原理图n支持苹果、三星手机快速无线充电,支持5W无线充电,可以快速通过qi认证和其它各项认证。nnn
数据同步系统
1      概念l  数据节点一个数据库实例称为一个数据节点,简称节点。数据库不限于关系数据库。 数据同步是在数据节点之间进行。同步是节点表之间的数据的提取,转换,写入过程。数据在节点之间的同步,不要求强一致性,只需要保证最终一致性。 数据节点标识,命名,存储:对每个数据节点,全局唯一dsid编码和唯一的uname,所有数据节点的信息保存在平台t_sys_db表中。dsid仅内部使用,配置等均采...
软件需求调研中的5W+1H定律
软件需求调研中的5W+1H定律 分析如何做,都是些什么。指的是什么样内容。案例分析。
封装作业1(含代码和运行效果)
一、程序代码:nnnpackage task_05;n/*n * 封装作业1:分析以下需求,并用代码实现(每个小需求都要封装成一个方法):n (1)键盘录入两个数据,求两个数据之和(整数和小数)n (2)键盘录入两个数据,判断两个数据是否相等(整数和小数) n (3)键盘录入三个数据,获取两个数中较大的值(整数和小数) n (4)打印m行n列的星形矩形 n (5)打印nn乘法表n (6...
T1273 货币系统(#Ⅱ- 9 - 2)
【题目描述】nn给你一个n种面值的货币系统,求组成面值为m的货币有多少种方案。nn【输入】nn第一行为n和m。nn【输出】nn一行,方案数。nn【输入样例】nnn3 10        //3种面值组成面值为10的方案n1           //面值1n2           //面值2n5           //面值5nn【输出样例】nnn10          //有10种方案nn【源程序...
mysql 控制每次批量插入5w条记录思路
由于业务中使用到word分词,所以数据量比较大,需要把分出来的结果插入到数据库,每次插入1条的话,非常慢,所以使用批量插入n具体思路如下:n long start=System.currentTimeMillis();n if(keyWordList!=null&&!keyWordList.isEmpty()){n //最终插入的条数n Integer effectR
数字和为sum的方法数(给定一个有n个正整数的数组A和一个整数sum,求选择数组A中部分数字和为sum的方案数。 当两种选取方案有一个数字的下标不一样,我们就认为是不同的组成方案。)
数字和为sum的方法数nn题目描述:nnn给定一个有n个正整数的数组A和一个整数sum,求选择数组A中部分数字和为sum的方案数。n当两种选取方案有一个数字的下标不一样,我们就认为是不同的组成方案。nnn输入描述:nnn输入为两行:n第一行为两个正整数n(1 ≤ n ≤ 1000),sum(1 ≤ sum ≤ 1000)n第二行为n个正整数A[i](32位整数),以空格隔开。nnn输出描述:n...
编程题——和为sum的方法数
题目描述nnn给定一个有n个正整数的数组A和一个整数sum,求选择数组A中部分数字和为sum的方案数。n当两种选取方案有一个数字的下标不一样,我们就认为是不同的组成方案。n输入描述:n输入为两行:nn第一行为两个正整数n(1 ≤ n ≤ 1000),sum(1 ≤ sum ≤ 1000)nn第二行为n个正整数A[i](32位整数),以空格隔开。n输出描述:n输出所求的方案数
背包问题的方案总数例题:货币系统
【例9-17】货币系统nn【问题描述】nn  给你一个n种面值的货币系统,求组成面值为m的货币有多少种方案。样例:设n=3,m=10,要求输入和输出的格式如下:nn【样例输入】nn3 10 nn1 nn2 nn...
牛客网 [编程题]数字和为sum的方法数
题目描述:给定一个有n个正整数的数组A和一个整数sum,求选择数组A中部分数字和为sum的方案数。 当两种选取方案有一个数字的下标不一样,我们就认为是不同的组成方案。输入描述:输入为两行:n 第一行为两个正整数n(1 ≤ n ≤ 1000),sum(1 ≤ sum ≤ 1000)n 第二行为n个正整数A[i](32位整数),以空格隔开。输出描述:输出所求的方案数示例1输入5 155 5 10 2 ...
如何出一个好的产品方案
切入点:借鉴直接竞品、遇到同类问题的其它行业、深入客户访谈; 过程中:先出一版方案,过一天再拿出来看看修改一遍,会发现第一版方案有很多错误、遗漏;技术上不确定是否可行的先咨询研发工程师,避免无效的产品设计;找业务、上级领导阶段性沟通避免跑偏...
动态规划练习
数字和为sum的方法数nn给定一个有n个正整数的数组A和一个整数sum,求选择数组A中部分数字和为sum的方案数。 n当两种选取方案有一个数字的下标不一样,我们就认为是不同的组成方案。 输入 n5 15 5 5 10 2 3 n输出 n4nn思路:暴力不行。sum值是指定的,但是解空间肯定是最小单位为1进行增长,所以想到dp[i][j]表示前缀为 i ,能组成值为 j 的可能性个数。然后行...
分享一波好网站(不定时更新)
*不定时更新网址分享
一个简单的软件需求规划书模版
需求规格说明书1引言1.1编写目的1.2背景1.3字符定义1.4参考资料2任务概述2.1目标2.2用户特点2.3假定和约束3总体设计3.1需求规定3.2基本设计概念和处理流程3.3系统数据结构设计4运行环境规定4.1运行环境4.2接口设计...
本人java菜鸟,找了一个小项目,根据需求还不怎么明白建表关系。求大神们指点下建表分析。...
微信公众号需求分析rn1.我的易行rn1.1个人中心首页,显示微信头像,微信昵称,账户余额;rn1.2交易记录,可以查看历史交易记录,包括交易时间,产品,价格,下单人信息;rn1.3联系方式方式(含联系电话、地址等);rn1.4订单状态及投诉建议,可查看所有订单,分为未支付,已支付,交易中,已交易,处于已交易的订单在七日内可以投诉,(无投诉的话,七日后款项从平台扣除管理费后转入供应商);rn1.5...
日常计算机使用的需求和解决方案(一)
日常使用计算机,我们总是会遇到许多看起来简单、却无从下手的问题,通过本篇博客,我将简单列举我日常使用计算机的过程中都遇到哪些小问题以及我的解决方案。nn注:以下教程只提供问题解决的思路或方向,具体解决的步骤请自行百度/谷歌/搜狗等!nn视频相关nn nn在线看视频?nn在百度上找到资源存于百度网盘后观看;具体百度为:“视频关键词 百度网盘”;nn或者,直接在以下站点中搜索:nn疯狂影视搜索:htt...
求一个好的优化方案
小弟写了一个基于字典的分词程序 rn设计思想是首先将词典中的词一个一个读入数组,然后打开原始文本,用标点符号隔开一段一段,对每一段字符串,将词典中的词一个一个用KMP算法查找,如果有频数加1,最终实现了词频统计。rn但是感觉算法和思想都不是很优化 因为没有这方面的经验 想问问有经验的朋友指点指点rn现在想对词典进行处理 但是头脑中还没有一个具体的实施方案rn在线等待大家的帮助
实时计算的需求和解决方案(Kafak+sparkstream+redis)
我们通常使用Kafak+sparkstream+redis来作为我们实时数据处理的方案,需要处理各种关于实时计算的需求。nn需求一:触发告警nn流式数据的某个字段是一个固定的值,比如 state是off,而一旦这个值发生了改变,我们需要触发告警,比如state变成了on。nn触发告警提示这个状态值出错。等这个值再次变为off的时候,需要再次触发告警,提示这个值已经恢复正常。在这个值异常期间,告警只...
从零开发博客系统:1.需求设计与方案设计
需求设计与方案设计nnnn1 背景与规划nnnn1.1 背景nn  很早就想通过写博客,对自己的技术进行反思与沉淀,但是由于拖延症晚期,一直没有实际执行,而且市面上的各种博客系统创建的博客页面总是有很多第三方的元素,显得页面很繁琐,我个人是很讨厌这些多余的东西,所以就有了自己搭一个博客的念头。n  最初是2016年的时候打算用wordpress来搭建,因为整体框架已经成熟,api也很完善。但是用起...
HDU 5729 Rigid Frameworks (求二分图连通方案数)
Rigid FrameworksnTime Limit: 2000/1000 MS (Java/Others)    Memory Limit: 65536/65536 K (Java/Others)nTotal Submission(s): 281    Accepted Submission(s): 228nnProblem DescriptionnErik Demaine is a
[编程题]数字和为sum的方法数
链接:https://www.nowcoder.com/questionTerminal/7f24eb7266ce4b0792ce8721d6259800 n来源:牛客网给定一个有n个正整数的数组A和一个整数sum,求选择数组A中部分数字和为sum的方案数。 n当两种选取方案有一个数字的下标不一样,我们就认为是不同的组成方案。 输入描述: n输入为两行: n第一行为两个正整数n(1 ≤ n ≤ 10
05_Java基础语法_第5天(方法)_讲义
1、方法基础知识 n2、方法高级内容 n3、方法案例
互联网产品需求分析思路与方法
需求分析的方法与思路需求分析的思路产品的需求挖掘是一个不断迭代、不断更正的过程,任何一款优秀的产品都不是一蹴而就的,而是经历千百次的精雕细琢后的产物,而已然成功的产品也只有不断的修正、调整、才能保证在市场上的领先。 n需求分析的过程大概为:需求搜集——需求分析——用户画像——故事面板——任务分析——需求决策——需求开发——需求验收。该过程不是单方向的,而是一个不断循环的过程。需求收集的3个方法n观察
编程题之斐波那契数列分解
题目如下:rnrnrn解法一:深度搜索+回溯(代码如下)rn#includen#includen#includen#includen#includen#include nusing namespace std;nnvoid caculate_all(int data,vector&tmp){//求出所有小于或等于待求解数的所有斐波那契数列n int a = 1, b = 1,temp=0;n tm
企业数据备份,需要多少容量和性能满足?
在备份项目中,除了选择合适的备份软件,还要考虑存储、备份服务器、存储策略和配置等。关于备份组网、架构和备份软件我们前面已经讨论了,今天我们重点讨论备份存储容量和性能计算。
拓扑排序方案数的求法
【描述】rn给定一个有向图,求拓扑排序生成的序列数rn【分析】rn我们知道当所有儿子节点排好序的时候,父节点就排好序了。rn这里我们定义一种状态:状态s的二进制位上的1表示此点已经排好序了。rn例如:s=6时,化为二进制s=110,表示第2、3个点已经排好序了。rn所以父节点的状态可以由子节点转移而来。rn用son[i]表示节点i可以进行转移的合法状态,f[s]表示状态为s的方法数。rn然后枚举所
『进阶DP专题:序列区间DP与环形区间DP』
nn<更新提示>nn<第一次更新>nnnn<正文>nnnn区间DPnn区间动态规划是动态规划中一个重要的分支。当然,它也是动态规划的进阶,理解起来更具有难度,所以我们单独作为一个专题来讲解。nn区间动态规划最大的特征为对于某段区间的最优值,它都是由几段更小的区间的最优值得到的。也就是
【动态规划】数字和为sum的方案数
题目:给定一个有n个正整数的数组A和一个整数sum,求选择数组A中部分数字和为sum的方案数。 n当两种选取方案有一个数字的下标不一样,我们就认为是不同的组成方案。nnnn#include <iostream>nnusing namespace std;nnint main()n{n int num,sum;n cin>>num>>sum;n ...
数字和为sum的方法数(DP+01背包方案计数)
时间限制:1秒 空间限制:32768K 热度指数:11166 算法知识视频讲解题目描述给定一个有n个正整数的数组A和一个整数sum,求选择数组A中部分数字和为sum的方案数。当两种选取方案有一个数字的下标不一样,我们就认为是不同的组成方案。输入描述:输入为两行:n 第一行为两个正整数n(1 ≤ n ≤ 1000),sum(1 ≤ sum ≤ 1000)n 第二行为n个正整数A[i](32位整数),...
一个创业的想法
共享会员(网站)rn一对一的共享  比如我有一个优酷的会员      你有一个腾讯的会员  突然有一天我想看腾讯的资源  你想看优酷的会员 那我们就可以进行互换(互换时间可以规定 比如双方订24小时后 对方的账户和秘密全部隐藏起来)rn这个是我们网站的核心功能也可以说是最核心竞争力 rn我们也可以定时发布一些免费的会员共享 (都是这些共享不稳定  由于人数登的太多 会不时的掉线)rn盈利模式(现在
二分图求最大匹配数,最完美匹配概念
二分图:把一个图的顶点划分为两个不相交集 UU 和VV ,使得每一条边都分别连接UU、VV中的顶点。如果存在这样的划分,则此图为一个二分图。n匹配:在图论中,一个「匹配」(matching)是一个边的集合,其中任意两条边都没有公共顶点。例如,图 3、图 4 中红色的边就是图 2 的匹配。nnn   nnn我们定义匹配点、匹配边、未匹配点、非匹配边,它们的含义非常显然。例如图 3 中
C语言实现将任意一个整数转换成有限个fibonacci数之和
主要思路:n1.首先计算一个包含最大数据范围的fibonacci数表;n2.逆序循环遍历数表,对输入整数进行拆解。n/*--------------------------------------------------------------------n功能:将任意一个整数转换成几个fibonacci数之和n可以有多行输入,每行一个整数(本程序范围以10000以内为例),最后以0结束输入;n输...
一个完整的项目开发文档
软件开发计划书 ..............1.任务申请.doc ..............2.可行性与计划阶段--可行性研究报告.doc ..............2.可行性与计划阶段--项目开发计划.doc ..............3.需求分析阶段--数据要求说明书.doc ..............3.需求分析阶段--用户手册概要.doc ..............3.需求分析阶段--需求说明书.doc ..............4.概要设计阶段--数据库设计说明书.doc ..............4.概要设计阶段--概要设计说明书的.doc ..............4.概要设计阶段--组装测试计划.doc ..............5.详细设计阶段--详细设计说明书.doc ..............6.实现阶段--模块开发说明.doc ..............7.单元测试阶段--单元测试报告.doc
171019 新需求上线计划安排 要做到以下几个事情心中有数
n n n 知道长期的计划才能知道现在该做什么n新需求上线计划安排 要做到以下几个事情心中有数nn目标上线版本是 哪一个 什么时间nn配合大版本升级,必须知道适配测试启动的时间,倒推代码完成时间n提交到目标版本需要完成哪些必选项,各项的依赖关系和时间n要提交MP版本必须完成的公测验证,倒推公测版本合入的时间n要提交PDT项目,必须知道需求验收封板的时间nnn正向评估功...
分布式计算的几种硬件场景及其对应的解决方案
作者:朱金灿rn来源:http://blog.csdn.net/clever101rn rn        在部署分布式系统之前需要先了解用户单位的硬件情况。同时用户单位领导很多时候也会针对单位硬件情况提出自己的需求。rn rn        第一种是用户单位有多台性能不足的服务器。于是他想通过多台服务器堆叠构成更强大的服务器。这种情况下解决方案有:1、类似于IBM x3850的堆叠,可将两台硬件
toB产品的需求、产品方案和产品观
n n n toB的招聘类Sass产品,行业具有明显的周期性(每年春招3-5月、秋招9-11月),使得需求具有集中性、个性定制化。就要求产品研发团队能短时间快速响应客户需求,现总结几点工作中遇到的需求、产品设计原则和产品观产品观1.产品研发都是为业务服务的,任何炫技不以业务为目的的产品研发都是耍流氓!不对业务产生价值的指标都是务虚的!2.产品设计的目的是解决客户需求及...
正整数n可以拆分成若干个正整数之和,考虑拆分方案的个数
正整数n可以拆分成若干个正整数之和,考虑拆分方案的个数。rn1.证明rn当对一个数i拆分,选择j为拆分点,这其可对1~j-1拆分,也可对i-j~i进行查分。记g(i,j)表示拆分整数i时最大加数不超过j的方案个数,则g(i,j)rn = g(i,j-1)+g(i-j,j).rn2.伪代码rnfunction NumCutrn   for i=1 to nrng[i,1] = i;rn   for
分析以下需求,并用代码实现
(1)定义一个学生类Student,包含属性:姓名(String name)、年龄(int age)public class Student {nn String name;n int age;n n n public Student() {n super();n // TODO Auto-generated constructor stubn }n n n public Student(S...
fractalfox
一个求图像分形的好软件
求助,谁有视频网站源码,最好瀑布型的,能够免费使用,推荐一个,谢谢大家
需要一个视频网站源码,可以做点播服务收费,可以做会员收费!不要自动采集的,谁能帮我推荐下吗
文章热词 机器学习教程 Objective-C培训 交互设计视频教程 颜色模型 设计制作学习
相关热词 mysql关联查询两次本表 native底部 react extjs glyph 图标 有一个学生课程数据库 有一个学生课程数据库