3

多线程添加数据,如何去重

数据来源是某网站上的公开数据,而且不排除这些数据会不定时更新...不过由于数据量比较大,所以我就想用多线程添加进数据库. 但是在入库的时候发现数据出现大量重复:我当时开了4个线程,最后存入数据库的数据量就是标准的4倍之多,也就是单个线程他已经把全部数据都取下来了. 但如果不用多线程的话,执行效率着实有点低. 有什么办法能在数据进入数据库之前就去重吗? 毕竟我不想对数据库做什么改动,而且数据库的效率有点低...

查看全部
sinat_30048563
极北之地_
2015/08/20 10:14
  • 数据
  • 多线程
  • 数据库
  • 点赞
  • 收藏
  • 回答
    私信

6个回复