现在有一个需求，需要对两部分数据进行对比，一部分是财务数据，
一部分是另外一个系统导出数据，将两边数据进行对比，简单来说就是看看财务的流水是否能和系统内的数据对上账，其中需要根据每条记录去对比，数据
很可能会达到千万级，求各位大神给点思路，小子非常感谢
java中对数据进行对比，数据可能会达到千万级
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
5条回答
- 2019-08-30 11:02回答 8 已采纳 三种方案： 1.数据库触发器 在A电脑C表中建立触发器，然后将C表的增删改记录下来，放到一个中间表中，中间表中记录动的是哪个表，什么时间，id之类的数据， 然后写个跑批服务，定时去拉取中间表数据
- 2019-12-25 09:57回答 2 已采纳 你的思路在点很多的情况下，效率会很差，建议你不要存入list，而是存入hashmap，hashmap的key是x * 2取整,y * 2取整。 也就是把点放在以0.5为单位的网格，之后每次只要和这个
- 2017-07-16 09:44回答 3 已采纳 可以通过blockingqueue等，主线程生产者，子线程消费者
- 2021-03-13 02:20kaiclife的博客 1.数据库设计和表创建时就要考虑性能2.sql的编写需要注意优化4....尽量使用INT而非BIGINT，如果非负则加上UNSIGNED(这样数值容量会扩大一倍)，当然能使用TINYINT、SMALLINT、MEDIUM_INT更好。使用枚...
- 2017-12-06 08:43回答 13 已采纳 int[] numbers = {1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16,17,18,19,20}; StringBuilder str = new Str
- 2019-07-09 10:15回答 6 已采纳 按月分表完美解决问题
- 2018-05-19 09:10回答 2 已采纳 按理说都是可以的，因为XSS是excel 2007+的格式，hss是2003-的格式，仅此而已。检查下你的excel文件格式对么？它虽然有xlsx的后缀，但是是不是还是别的格式（甚至根本不是excel
- 2018-09-14 19:34java php python erlang 千万级内存数据性能比较,
- 2017-11-23 03:18回答 8 已采纳  另外一种就是 Insert into MEN
- 2018-10-10 09:34回答 2 已采纳 这个问题自己查阅 改造了下 搞定了 jsonArray 转成map类型的list 通过stream 判断key值 是否匹配 ture 则保留 false stream会通过filter过滤 Lis
- 2019-05-16 00:15回答 6 已采纳 你这个吧，首先逻辑就有点问题，居然在循环里面查询数据库，这样及其耗费性能，建议用，where xxx in() ，当然你这个错是因为你的集合在循环里面进行了赋值运算，每次赋值会吧上一次覆盖掉，建议你用
- 2018-12-14 09:14行思坐忆，志凌云的博客 记录使用JAVA程序处理千万级的数据表 要求：原表有4000w+数据，需要对其中message字段进行数据处理，并将处理的结果写入result字段中 优化：分表，sql的优化 过程： 最开始是啥都不懂，打算一次性将4000w条数据获取...
- 2017-07-13 07:18回答 5 已采纳 1. List集合转换成json代码 List list = new ArrayList(); list.add( "first" ); list.add( "second" ); JSONA
- 2020-11-21 16:58weixin_39917437的博客 特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此，优化数据库插入性能是很有意义的。经过对 MySQL InnoDB 的一些性能测试，发现一些可以提高插入效率的方法，供大家参考。01 ...
- 2022-03-02 19:19QFann的博客 mysql千万数据处理实践 背景 线上一张数据表（数据量2500W）因为前期设计问题，导致某些关联关系没有整理,需要从这张表中重新整理对应的映射关系。 A 主表（2500W）关联字段 a ,映射字段 b B 主表关联表 （6000W） ...
- 没有解决我的问题, 去提问
