2 qq 27704633 qq_27704633 于 2017.09.12 15:37 提问

java中对数据进行对比,数据可能会达到千万级 50C

现在有一个需求,需要对两部分数据进行对比,一部分是财务数据,
一部分是另外一个系统导出数据,将两边数据进行对比,简单来说就是看看财务的流水是否能和系统内的数据对上账,其中需要根据每条记录去对比,数据
很可能会达到千万级,求各位大神给点思路,小子非常感谢

5个回答

qq_27704633
qq_27704633   2017.09.12 16:29

没人自己顶上去,各位大神给点意见指导指导

qq_22590821
qq_22590821   2017.09.12 16:38

分而食之,一口吃下个大胖子;
可以先按照时间段来分段对比,这样能保障不宕机;
时间上可以使用多线程来处理,分别取出不同时间段来进行对比;
这只是一个思路;

qq_35498454
qq_35498454   2017.09.12 16:40

http://blog.csdn.net/yun0000000/article/details/52758098 和这个类似,稍微改一下就行

m0_38124502
m0_38124502   2017.09.13 10:54

可以解决。简单说一下思路,首先保证一类数据文件有顺序,另一类数据文件有序无序都行。采用二分比对,从无序文件中直接读取一条记录,
读取的记录,直接和有序文件进行比较,此时因为有序文件是有序的,又因为采用二分比对,时间上可以忽略不计,千万级记录一会就比对完了。

qq_28766327
qq_28766327   2017.09.14 12:18

数据库操作最好批量进行,数据库连接什么的很耗时。连接次数过多,浪费时间。

Csdn user default icon
上传中...
上传图片
插入图片