有一个需求更新5W数据,求一个好的方案 5C

有一个需求更新5W数据,求一个好的方案,java,mysql,redis

0

5个回答

可以采用数据库批量更新,比如一次更新50条

0
qq_37486884
违羌 如果批量更新时有某一条失败了怎么办?后面的继续还是不继续?还是说直接就rollback?
12 个月之前 回复

package me.gacl.demo;

import java.sql.Connection;
import java.sql.ResultSet;
import java.sql.Statement;
import me.gacl.utils.JdbcUtils;
import org.junit.Test;

/**

  • @ClassName: JdbcBatchHandleByStatement
  • @Description: 使用Statement实现JDBC批处理操作
  • @author: 孤傲苍狼
  • @date: 2014-9-20 下午10:05:45
    *
    */
    public class JdbcBatchHandleByStatement {

    @Test
    public void testJdbcBatchHandleByStatement(){
    Connection conn = null;
    Statement st = null;
    ResultSet rs = null;
    try{
    conn = JdbcUtils.getConnection();
    String sql1 = "insert into testbatch(id,name) values(1,'aaa')";
    String sql2 = "insert into testbatch(id,name) values(2,'bbb')";
    String sql3 = "insert into testbatch(id,name) values(3,'CCC')";
    String sql4 = "insert into testbatch(id,name) values(4,'DDD')";
    String sql5 = "update testbatch set name='gacl' where id=1";
    String sql6 = "insert into testbatch(id,name) values(5,'FFF')";
    String sql7 = "delete from testbatch where id=2";
    st = conn.createStatement();
    //添加要批量执行的SQL
    st.addBatch(sql1);
    st.addBatch(sql2);
    st.addBatch(sql3);
    st.addBatch(sql4);
    st.addBatch(sql5);
    st.addBatch(sql6);
    st.addBatch(sql7);
    //执行批处理SQL语句
    st.executeBatch();
    //清除批处理命令
    st.clearBatch();
    }catch (Exception e) {
    e.printStackTrace();
    }finally{
    JdbcUtils.release(conn, st, rs);
    }
    }
    }

0

可以根据实际需要,将5万条数据集合截取为10个集合,每个集合是5千数据,然后开启10个线程,每个线程链接一次数据库,sql批量更新对应的5千数据。

0

https://ask.csdn.net/questions/698319
这个是和你类似的场景,我当时给出的答案,你的模仿着写就行了,望采纳!

0

就使用jdbc原始的方法,在建立连接后,
第一步 创建statement,
第二步 设置不自动提交,开启事务,conn.setAutoCommit(false)
第三步 执行sql,直接5w条sql一次批量执行,jdbc完全支持,项目中测过30w的5万执行6次,每次一分钟左右
第四步 判断是否有异常,有异常事务回滚,没有异常执行成功。
第五步 提交conn.commit()

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
求一个好的优化方案
小弟写了一个基于字典的分词程序 rn设计思想是首先将词典中的词一个一个读入数组,然后打开原始文本,用标点符号隔开一段一段,对每一段字符串,将词典中的词一个一个用KMP算法查找,如果有频数加1,最终实现了词频统计。rn但是感觉算法和思想都不是很优化 因为没有这方面的经验 想问问有经验的朋友指点指点rn现在想对词典进行处理 但是头脑中还没有一个具体的实施方案rn在线等待大家的帮助
求教一个好方案
现在服务器3台,在3楼,旁边200米范围了,分布30多台电脑 rn一部门7台 二部门3台 三部门5台 四部门3台 五部门12台 六部门7台rnrn大家帮我给方案
求一个好的共享宽带上网的方案
大概七八台机子,有98,2000,xp等不同系统。rn请问用什么软件比较好,比较方便,详细设置等……rn100分给最好的方案,谢了!!
C# Excel 操作 求一个好的方案
开源库 没一个OK的,rn不是只支持97-2003的XLSrn就是.net framework 有较高的版本要求.rn要不就是只读不写rn或者就设计要求安装officernrn[color=#FF0000]其实我的要求很简单.[/color]rn就是一个是库,另一个是 每周生成的文件rnrn我需要把 每周生成的文件 中的每一行数据和库文件作比较rnrn如果发现库文件中已经存在这条记录,那每周的文件中就将相应的记录删除,rnrn然后.net 要求是2.0版本,客户机不安装office.rnrn就这么简单...rnrn可是现在尽然找不到一个适合的...rnADO.NET 也不行(不能删数据)。COM 需要安装Officernrn经验证 以下开源库 都不满足要求rn MyXls(http://sourceforge.net/projects/myxls/)rnrn  Koogra(http://sourceforge.net/projects/koogra/)rnrn  ExcelLibrary(http://code.google.com/p/excellibrary/)rnrn  ExcelPackage(http://excelpackage.codeplex.com/)rnrn  EPPlus(http://epplus.codeplex.com/)rnrn  LinqToExcel(http://code.google.com/p/linqtoexcel/)rnrn  NetOffice(http://netoffice.codeplex.com/) 需安装Office Excelrnrnrn求相对较好的解决方案
求一个select标签的css方案,好看点的
求一个select标签的css,各位大侠有没有啊?只需要css处理下select就好了~~~~rnrn谢谢各位了~
求一个 需求的思路
求一个 需求的思路rn(最近在做一个OA的新闻模块,但是有个需求,就是要精确到每个用户,在发布新闻的时候可以选择到哪些用户可以 查看 哪些用户不能查看,即使是同级的用户 也许你可以我不可以) rn请问 这样如何 处理呢
求这样一个需求
DataGrid里的模板列Input空间,我想着让他输入正整数,输别的一概替换为空rn下面是代码 我试了不行 ,需要一个非正整数的正则表达式,不知我的对不对,反正是替换不了,rnrnrn rn rn rn rn rn rn rn rn rn
求一个需求的思路
我开发了一个广告联盟程序,要实现扣量的功能。就是比如本来有100的点击量,设置扣量20%之后就只显示80个。但是现在有个问题,我修改了扣量比例之后,用户再去查询原来的数据就会变,比如用户昨天真实点击有100个,我设置扣20%,就显示80个,今天我设置扣30%,如果用户去查昨天的数据就会显示70个,这样肯定不对啊。求思路,谢谢。
求一个需求
马上就要开学了rnrn开学后就可以开始准备毕业论文,但是论文写什么,还没有想好rnrn我是学软件工程的,毕业设计要求是做项目,公司的项目不能拿来用,也拿不过来。rnrn所以想看看大家有没有什么好的建议,初步构想,使用Eclipse,做个Eclipse插件,或者做关于gef,emf.rcp等等这些比较新的东西。rnrn但是没有需求,大家帮帮忙啊!
有这样一个需求??
在本人单位使用的是Lotus Notes R5 ,平时也就是收发邮件,每个人和基层都有自已的邮箱,服务器在我们的上级单位。rn现在每天都有一些文件(放在机器固定的目录,从文件的名称上可以区分出各个网点),需要发到每一个网点,但是人工一个一个发的话,要针对每一个文件,对应发到它的邮箱,工作量太大。rn  现在我想用Lotus Notes 自动根据每个文件找到文件对应的邮箱然后批量发出去,如何实现呀!!??rn  在线等......谢了
如何写一个好的需求文档
1、从用户角度的编写2、使用Screen Shots3、用简单的语言编写 a)保持简短的语句,把长的语句分解成多个小的语句。 b)避免大篇幅的连续文本,把他们分解成多个小的章节。 c)把大块文本内容分解成,screen shots,表格、重点列表等等。4、小心的使用模板      我发现MRD模板非常有用。他们的几个好处包括:      a) 模板提供了一个标准的格式,使那些不
求一个 SQL语句,更新表中数据的好方法
我有个这样的表: #ResultTablernrn客户名称 产品名称 实销数 预计数 完成率 比率1 比率2rn-------------------------------------------------------------rn客户1 产品1 1 1 rn客户1 产品2 3 4rnrn客户2 产品2 2 3rn客户2 产品2 3 3rn. . . .rn. . . .rn. . . .rnrnrn要求实现这样的目的:rn完成率=实销数/预计数rn比率1=实销数/该客户实销数总数(客户1的小计)rn比率2=实销数/所有实销数总数。(总计)rnrn这个该如何写呢?rnrnrn
求一个方案!
求一台机器,有Lan口,若干开关口rn机器能与网络相连,支持Tcp/ip 协议,通过发送数据包,操作相对的开关
求一个查询方案
表中有如下记录rn XM(列)rn aarn bb rn ccrn ddrn想要得出如下一条记录rnaa;bb;cc;dd;rnrn想不用存储过程,直接用SQL实现rn大家有没有什么好的方法?rn
求一个最佳方案
我有一个窗口,上面有一个CheckListBox和一个Memo,我想要实现rn1、当CheckListBox的某项被选中时,该项的内容就自动按它在CheckListBox中的顺序添加到Memo中,比如选中的顺序是Item1、Item3、Item2,要求在Memo中显示的顺序是Item1、Item2、Item3。rn2、当CheckListBox的某选中的项被uncheck时,Memo中的相应内容要能自动清除。rn3、Memo中还允许用户输入其它内容,这些用户输入的内容要能自动保持在最下面。
求一个方案
各位好:rn 俺求个方案.rn 目的:查询仓库物品的进出量和乘余量rn 情况:三个异地仓库.rn 要求:需要一个网页界面,实现货物进出登记,及余量的查询.使库管随时登陆网站就明了仓库物品存量.包括三地的数据,和三地总共的数据.rnrn为实现这功能,需搭建一个怎么样的系统呢?
求一个方案!急
40000行的表几经删改后,自动递增的ID列已不连续,而且数字都很大了,如何修改整个ID列,让它再从顺序开始直到40000 ?
求一个分区表方案
每天自动生成一个数据库后创建表,采用分区表方案。比如有几个table为MY_TABLE_1~N,都有一个字段为timestamp类型为bigint。分区方式为按照时间分区,两个小时一个分区的方案。但这里的时间timestamp为UTC时间单位为ms。rnrn如何实现啊?我想通过job方式实现或者一个windows程序定时执行sql脚本完成数据库的创建和表的创建,同时应用分区方案。2小时一个分区,应该有11个边界值了,文件组为12个文件组。rnrn关键是每天都要如此执行,求教。。。
求征一个方案
公司要给铁通做一个网站,要实现网上话费查询的功能,这个如何实现?小弟对此一知半解,请各位高手指点
求一个分配方案
有一个字段,char(8)的rn rn 然后呢,格式是这样的ca000001,ca000002,……………………,rn 前面两个是字母,后面是一窜数字,然后我要根据数据库中最大的那个窜,生成一个新的rnrn 什么意思呢rnrn就是说,比如现在有10条记录,是ca000001,ca000002然后一直到ca000010rnrn那么下一次生成的就是ca000011rnrn这个该怎么做呢,呵呵
求一个网络方案
我公司有几个部门,每个部门都有领导,同个部门和部门领导之间可以相互通信,但不能跨部门访问,各部门的领导之间可以相互通信,一些部门能上外网,另外一些部门不能上网,请问这样的要求能实现吗.
求一个文件上传方案
用的是springMVC,要求是多文件上传,大文件上传(视频,多大不定)。rn还有一个疑惑,一个表单有很多字段,上传的文件是form提交还是和form分开提交比较好?
求一个数据备份的方案
主要用来做资料备份,但想达到一些要求,我不知道应该怎么做,请各位大大们出点主意:)rn服务器硬件:500G硬盘 两个250G的sata 做raid1rn主要提供给公司设计人员做资料备份用,要求是每人分配10G空间,有各自的帐号和密码(最好就是与他登陆的帐号密码结合,设计人员在同一个域上。),他们能自主更改密码。资料库不能互访。开机一登陆就能直接映射到设计人员的机器上(类似分布式文件管理系统的自动登陆脚本)。 不知道能不能这样设置?如果可以,应该怎么设置。rnrn或者用第三方软件能达到上述要求也行。rnrn现在我的想法是利用ftp来管理和分配,但这样就不能自动映射过去,需要每台机器单独的设置才行。而且用户自己更改密码也不方便。rnrn有经验的网友给些意见吧。rn谢谢。rnrn
求一个插入数据的方案
问题描述:一个文件中保存有许多字符串(最多5万个),现在需要将这些字符串放到数据库中,现在的方案是建立一张表,字段为整型的id和字符类型的name,其中name就是需插入的字符串,而id为唯一标识这些字符串的数字,这样就可以基于id建立索引,提高存储和查询效率。rn但由于文件中保存的字符串总是在变化,程序启动时扫描该文件,如果有新的字符串产生则插入。rn请教以下问题:rn1,唯一标识字符串的id应该如何确立,我想用hash映射,是否可以?是否有更适合的方案?rn2,扫描表以知道该字符串是否插入的算法应该如何设计才能保证最优?
求一个拓扑结构方案
共有16个节点(0-15),每个节点有4路通道。现在需要建立一个拓扑结构将16个节点连接起来。rnrn现假定16个节点都已经通过光缆连接,但并不清楚自身4个通道连接都是哪个节点。rnrn需求:从源节点(0)开始,建立一个唯一的拓扑结构,将16个节点连接起来。rnrn思路:从源节点向4个通道发送建链消息,rn其余节点收到建链消息后,先判断自身是否已经建链,如果已经建链,将消息丢弃;rn如果没有建链,将收到消息的端口设置成父端口,并向上反馈x节点建链成功,同时向其余3个端口转发建链消息;rn自身节点如果收到是反馈建链成功的消息,则将自身节点信息及收到消息的端口加入其中,向父端口继续向上反馈。rnrn根据以上操作,源节点将陆续收到各个端口反馈的建链结果,源节点先判断反馈信息中的节点是否已经存在数据库中,如果存在,丢弃该条信息,如果不存在,则将该节点的路径加入数据库中。rnrn难点:rn1、必须保证源节点开始建链的时候,其余的15个节点都已经激活,否则某个节点激活的速度稍慢就可能导致相关的节点无法反馈建链消息。(事实上在工程中,这15个节点很可能激活速度不一样)rn2、如果源节点和某个节点之间的通信出现问题,需要立刻更新拓扑结构,重新建立与该节点以及其下属节点之间的联系rn3、可动态的调控某个节点的状态(即激活和休眠),并且能立刻更新拓扑结构(步骤2)rnrn从我原来的设计思路来说,要解决这几个难点很困难,因此求有经验人士提供有效的解决方案。rnrn有效回复都给分
求一个采集的方案
目前碰到一个难题,需要采集 http://government.westlaw.com/linkedslice/default.asp?SP=NYCRR-1000 这个网站上的内容,并逐级采集,比如点击 TITLE 2. DEPARTMENT OF AUDIT AND CONTROL 后,进入后的页面,以及遍历所有相应的子页面rnrn我现在的问题是,我可以采集到 http://government.westlaw.com/linkedslice/default.asp?SP=NYCRR-1000 页的内容,但点击子页面后,我所需要采集的页面是发生了4次跳转后的页面。。。。这个该怎么解决?
求一个实现方案
表中有一个字段需要用到递增(非主键且不想依赖数据库),能想到的就是用select max(field)来,可是这可能有并发问题,这个实现其实是论坛回复里的楼层。
求一个硬件设计的方案!
本公司 想研发一个硬件产品 ,该产品集成有温度,压力,摄像头,核探测器等传感器。这些采集的数据 都通过 该设备的网口发送到pc。而且该设备能和网络打印机那样,方便配置网络参数。rnrn其实就相当于一个网络上的一个设备吧。rnrn我的问题是rn1,这个设备的通信模块市场上有成熟的模块采用吗?rn2。这些设备上的传感器设备 怎么去管理, 需要添加什么软核一类的。做成一个系统来着的?例如我想配置某个传感器的一些参数,通过网络。rn3。这些实时采集的数据的打包处理,上层协议的制定,大家 有什么建议?rnrn这只是 我想到的, 大家有什么其他的意见尽管提?rnrn
求一个测试方案
各位大侠:rn 请教一下,我需要开发一套系统进行TFT-LCD 的CELL测试,显示画面很简单,就黑、白、灰、红、绿、蓝,但是需要带有VCR读取功能,并且要进行CIM通讯,方便不良数据上传。rnrn 具体功能如下:rn 1)PanelID、lot ID通过VCR读取;rn 2)Panel的不良数据需要通过CIM上传到服务器。rnrn 请问要实现这样的目的,选择什么样的主芯片比较好?什么样的方案比较好?
求一个加密解密方案
现在有一个项目,项目主要是做一个数据交换平台,这个平台完成的功能就是数据转换,举例如下:rn源数据库<-------->平台<------->目的数据库rn平台自身也有数据库,是oracle的,目的数据库也是oracle,但是源数据库不止一个,有好多个,而且不一定是oracle的,可能是mysql,sqlserver,也可能是oracle。现在需要将源数据库的数据通过平台转换成目的数据库的格式,然后传给目的数据库,同理,目的数据库的数据也可以通过平台转换成源数据库的格式然后传给目的数据库。rn现在需要一种方案,来保证数据在传输的时候,这些数据是加密的,不知道有什么方法?rnrn我所想到的有以下几种:rn1、自己写一个加密解密算法,数据在发送之前调用加密算法给数据加密,接收方收到数据后调用解密算法解密。rn2、我在网上查了,好像oracle和sqlserver支持数据传输加密和解密,只要设置下就可以了,不知道它那个传输加密是不是符合我这个要求,希望用过的朋友能指点下。rn3、准备用JBOSS服务器,网上说,只要在JBOSS里面设置下SSL这个东东,就可以保证客户端和服务器端的数据传输是加密的,而且是自动加密和解密。不知道有没有朋友用过这种方法,希望能指点一二。rnrn以上是我能想到的,不知道大家还有没有别的好的方案。最好是不用写代码的,因为自己写加密解密算法,比较麻烦,有现成的工具之类的就最好了。多谢!!!
求一个建表方案
公司在各地都有代理商,公司的商品给每个代理商的价格可能都不一样。rnrn即每类商品都有一个标准价格,默认情况给所有代理商的价格都一样,但是可以为某个代理商设定单独价格。rnrn请问这个建表怎样建?
求一个方案(.Net)
后台有一个操作,通过前台界面设置这个操作的执行:可以设置一个具体的时间点,时间到了以后执行这个操作;可以设置时间间隔,达到时间间隔的时候就执行这个操作。rnrn我是这么想的:通过一张表来保存执行这个操作的的一些配置信息。如时间点、时间间隔,后台跑一个Windows服务。在Windows服务中通过Timmer根据配置信息来执行这个操作。问题是:假设现在配置信息已经保存到表中了,这个时候启动Windows服务的话,能按照想要的来运行;但现在如果更改了配置,如何通知Windows服务去重新读取新的配置呢?rnrn知道的给的思路哈,或者说说自己的想法一起探讨下。
一个解析xml数据的问题,求方案
rnrn了解xml解析的人都知道,sax是基于事件的,也就是说一边读,一边去处理事件,比如读到时标签开始,这rnrn时我们可以把TT中的数据"TT"读出来,然后从网络上发送出去.这样的好处是不用把整个树全拿出来再处理,不浪费内存.如果我们这样的标签有10G个,那这样就太方便了.rn如果反过来我这里从网络不停的传过来数据,好多,我想把它存成一个xml文件,要有10G个标签..我总不能先构建整个树再存吧.于是我就想到了sax.一边读到数据一边写成xml,rn可惜,我看了xml解析好几天也没有看到有这么用sax的,rn我从jaxp到jdom到dom4j全看了,没有这么用的啊????rnrnXMLWriter writer = new XMLWriter(out, outformat);rnwriter.write(this.doc); //全是这么用的,先构建好doc,然后再写,恐怖~~~~,哪有那么大的内存啊.rnwriter.flush();rnrn我的问题就是:像我这种写数据的应该用什么方案,应该用sax吗?如果不用那我用什么呢?rn谁给我一个解决的方法啊,谢谢...........最好再有点代码??rnrn谢谢..
socket文件传输,一个好的方案
以前写过文件传输的小程序,SocketAPI、CSocket都用过,文件是可以传,不过总感觉程序结构上不太好,尤其是两端程序的交互。rn最近要给朋友写一个用来提交文件,就是说有一台机器通常一直开着(设为S),用来接收其它机器(设为C)提交的文件rnrn我是想C向S发提交请求(这应该是第一步)时也通知S一个端口,这个端口是在C上,此时C开始听,然后由S开一个线程再去连C来完成接收(这应该是GET)...rn还有几个其它的,现在有点乱,所以请各位来愿意的话介绍一下自己的经验...rn谢谢先!rnrn
求一个好的解决方案
要求:rn 有一个Excel文件,要上传到数据库中的一个表中进行一系列的操作用再删除.若一个用户操作是没有问题的,若两个用户同时操作一个Excel文件,就会出现问题.我想取得客户端的IP地址作为主关键字.但是现在无法取得客户端的真实IP地址.大家有没有别的好办法?帮我一下,谢谢..
求一个好的方法
rn 无rn 英语rn 日语rn 法语rn 德语rn 俄语rn 西班牙语rn 朝鲜语rn 阿拉伯语rn 其它rn 汉语 rn上面一段代码:就是用户修改自己的外语能力,每一次都要判断,rn$requestScope.editLanguage=='1'?'selected':'' ,如果语言多了rn是不是和麻烦?rn请问有没有什么好的方法?
求一个好的播放器
企业视频需要放到网上播放rn求一个好用的播放器
求一个好的算法!
很简单,求平面上一点,到这个平面的一条线段的距离,注意是线段不是直线。
求一个好的解决方法
一个字符组 中 有以下几项rnA-BrnB-ArnC-DrnC-E rnrn要求去掉重复的项 A-B和B-A被视为数据重复rn得到rnA-BrnC-DrnC-Ern请问有什么好的方法不 对性能有一定要求 因为数据量大
求一个好的算法?
我现在有一个权限树上面有checkbox(228个),当我查询出一个用户权限时,让其对应的权限的复选框选上,保存时将该用户权限保存!rn 我是将查询到权限的id,发送到页面,然后和checkbox的value对照判断是否选择!rn算法不好.要等好长时间页面才能显示!rnrn rn
相关热词 c#异步发送kafka c#窗体编号 c# 操作二进制文件 c# 反射 机制 c#线程 窗体失去响应 c#角度转弧度 c# 解析gps数据 c# vs设置 语法版本 c# json含回车 c#多线程demo

相似问题

5
java中对数据进行对比,数据可能会达到千万级
10
java 一个方法返回不同的数据类型
5
数据库先查询再插入最后更新查询数据问题?最后一步更新sql语句执行不下去?
7
关于mysql实时更新数据到mssql的解决方案
3
如何快速的将一个数据库表中的数据导入到另一个数据库表中
3
一个关于数据大小比较的业务需求不知道如何实现
6
求一个可以连接数据库的用Java编写的坦克大战,附带实验报告
9
怎样统计一个网站登录次数和访问次数插入到数据库最好有代码
4
SSM框架使用weblogic的多个JNDI数据源,实现操作多个数据源,有一个出错直接全部回滚
1
请问ACCESS数据库怎么把一个数据库中更新的文件添加到另外一个数据库中
4
SQL 同时更新一张表里的一个字段所有数据, 数据是本表里的一个字段+1.怎么写啊
0
SQLSERVER 查询一个时间段的数据,悲催现状,求大师指点!
5
有没有图像情感分析比较好的数据库
10
【数据库】我需要一个查重效率高的方法
10
oracle中同一个库,不同的两个用户,怎么实现这两个用户中的一个表数据同步?
5
SQLite数据库优化方案
1
求一个jfinal集成token 并且把token保存到数据库 设置过期时间的demo
6
把一个数据库中的数据 大批量更新到另一个数据库,
6
php 如何实时更新数据
2
关于Elasticsearch中Index与type、id、routing数据结构设计合理性的疑惑,有两套方案麻烦各位了