百万级数据比对重复数据问题,java

图片说明
我上传一个excel,读取后并跟数据库大概300万数据对比三个字段,如果重复的话存为错误数据。请教下这么多数据怎么比对啊,

3个回答

上传建后,建一个临时表,以那个要比较的字段建索引, 让临时表与正式 表通过三个字段进行联表查询,
如果结果为空,说明都是新数据, 不为空的话,结果就是重数据。

cyw521
梦一场丶 老哥,可否写个sql例子?
接近 2 年之前 回复

excel数据量多大呢?大概多少条记录?

cyw521
梦一场丶 没多少都。楼上这个大哥说的解决方案挺合适的,select q.uniscid,q.regno,q.entname from data_syfr_tem o ,data_qyfr q where o.entname=q.entname ;我不知道该咋写这个sql
接近 2 年之前 回复

A id column1 column2 column3 column4 (大表)
B id column1 column3 column3 (excel数据)

楼主,你看看这样行吗?
select B.id from A left join B on A.column1 =B.column1 and A.column2 =B.column2 and A.column3 =B.column3 where B.id is null

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!