java多线程高并发大量数据入库oracle数据库，数据大量重复，求一个解决思路

Question

现在有个需求是这样的：使用http调用第三方接口，获取数据后写入我们的Oracle数据库。

目前实现的思路：

1.写一个定时任务，每2秒钟调用一次http接口  每次返回的数据大概是1500-2000条左右

2.获取到数据后解析后放在非阻塞队列里面，每50条开一个线程批量入库

问题：

但是现在接口请求会有大量的重复数据，导致数据库每天数据量很多，如果设置唯一约束，批量入库的时候数据库会发生死锁，有没有好的解决思路。

Answer 1

Insert ignore