
我上传一个excel,读取后并跟数据库大概300万数据对比三个字段,如果重复的话存为错误数据。请教下这么多数据怎么比对啊,
百万级数据比对重复数据问题,java
- 写回答
- 好问题 0 提建议
- 关注问题
- 邀请回答
-
3条回答 默认 最新
COCO_AS 2017-12-05 04:32关注上传建后,建一个临时表,以那个要比较的字段建索引, 让临时表与正式 表通过三个字段进行联表查询,
如果结果为空,说明都是新数据, 不为空的话,结果就是重数据。解决 无用评论 打赏 举报

我上传一个excel,读取后并跟数据库大概300万数据对比三个字段,如果重复的话存为错误数据。请教下这么多数据怎么比对啊,
上传建后,建一个临时表,以那个要比较的字段建索引, 让临时表与正式 表通过三个字段进行联表查询,
如果结果为空,说明都是新数据, 不为空的话,结果就是重数据。