百万级数据比对重复数据问题,java

图片说明
我上传一个excel,读取后并跟数据库大概300万数据对比三个字段,如果重复的话存为错误数据。请教下这么多数据怎么比对啊,

3个回答

上传建后,建一个临时表,以那个要比较的字段建索引, 让临时表与正式 表通过三个字段进行联表查询,
如果结果为空,说明都是新数据, 不为空的话,结果就是重数据。

cyw521
梦一场丶 老哥,可否写个sql例子?
大约 2 年之前 回复

excel数据量多大呢?大概多少条记录?

cyw521
梦一场丶 没多少都。楼上这个大哥说的解决方案挺合适的,select q.uniscid,q.regno,q.entname from data_syfr_tem o ,data_qyfr q where o.entname=q.entname ;我不知道该咋写这个sql
大约 2 年之前 回复

A id column1 column2 column3 column4 (大表)
B id column1 column3 column3 (excel数据)

楼主,你看看这样行吗?
select B.id from A left join B on A.column1 =B.column1 and A.column2 =B.column2 and A.column3 =B.column3 where B.id is null

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
java 实体类list进行数据处理
现有数据库policecarnew,字段id,x,y,date 每5秒会有一条数据添加到表中 数据会出现x,y相同的情况,我要把x,y的这个点去重,并且规定一个值比如0.5,x1y1的点距离x2y2的点小于0.5,那我就认为这俩个点是重复的去掉一个点 我现在用实体类接收到数据存到list集合里,要拿第一条数据x1y1的点和第二条数据的x2y2进行比对,如果x1y1与x2y2重复,我删掉x2y2的这一条数据,再拿第一条和第三条比对,如果x1y1的点距离x3y3的点小于0.5,那我也删掉x3y3的这一条数据,x1x1与x4y4比,如果x1y1的点距离x4y4的点大于0.5,那我把x4y4存进去,再用x4y4对比下一条数据 注明:x:116.421565,y:40.456123;x1y1为一个点,需用到勾股定理算出两个点的距离
Hive进行数据比对问题,求帮助
最近项目中需要在Hadoop平台中做对账的工作,采用hive开做,容易上手,AB双方数据做数据比对的时候,准备用表连接方式来处理,这样存在问题,表连接的时候left join会存在多对多的情况,会出现A方中多条数据和B方一条数据比对成功的情况,需求如下: 1、以A方数据为主查找B方与之匹配的数据, 2、获取到多条时,取第一条, 3、且此条数据不再与A方其他数据进行比对 之前处理的方式是在db2中用存储过程来实现的,用游标遍历A放数据逐条从B方查找来处理的,现在用Hive来做的话就遇到这样的难处了
RNA-seq数据用STAR比对后内含子序列过高
![图片说明](https://img-ask.csdn.net/upload/201912/09/1575902543_724137.png) 各位老师, 我的mouse的RNA-seq数据用STAR软件做序列比对后发现,内含子比对比例太高,有近40%,intergenic比对也有13%左右。 我想问一下导致这种情况的原因有哪些?对后续分析的影响大不大?进一步的分析应该怎么办呢?
Java如何高效比对数据库两张表的记录
有两张表,数据略有不同,需要根据订单号比较两张表的数据,因为数据量大,不能全部读取加载进内存,有啥好方法不
java List集合与redis数据快速比对
我的需求是,现在有个list 集合里面有1000个数据,redis里有400多万数据,现在要查找list里的数据是否存在与redis里,由于redis里的数据比较多所以比对算法需要尽可能的高效,希望大家能提供个高效的算法,谢谢…… 补充:list里存放的是一个自定义对象,对象有个属性是手机号mobile,redis里存储的是手机号黑名单,发送短信的时候我要判断list里的短信号码是否在黑名单里,如果存在就把这个对象从list里删除(或者记录下来)。
表与表之间数据的比对,求一算法。
数据库 表A B C之间以表B为基础,分别拿表A里的每一条数据和表B里的数据比对,拿表C里的每一条数据和表B里的数据比对 ,但是到底拿表A数据哪列作为关系对比表B的哪一列记录在表D,当然也有可能是多对多,多对一,一对多的字段关系。 求一高效率算法,最好是C#,谢谢!!
如何把数据库里的数据和当前输入的数据进行比对啊?
我在mysql数据库里存了账号和密码,现在在做登录界面,想要把数据库的账号密码提取出来赋给变量,以便和当前输入的账号密码进行比对 求各位大神帮帮忙
mssql 数据实时比对功能
有a,b两个表,a表为数据实时插入的表,b表有一列字段,存储要查询的关键字,当a 表在插入数据时字段a包含b表中的关键字即为中标数据,推送到前台,从而实现实时比对的功能,如何实现?谢谢
java比对两张图片是否为同一张图片
现在的比对方法是将图片读成流,然后取出这个流的哈希值进行比对,但是效率太低,有没有什么方法可以高效的判断两张图片是不是同一张图?
C语言strncmp 与枚举类型比对的问题。
C语言如何使用strncmp函数 比对键盘输入的字符串 是否为 typedef enum 中枚举的某一函数,并进入这个函数执行? ------ 啊好困惑 比如 枚举了以下自定义函数 typedef enum mathfuntion { add, gcd, crt, primroot//等等自定义函数名 }mymathfuntion; 在命令提示符 键盘输入 add(1,2) 回车 3 我的想法是使用strncmp 对比stdin数据流中的前3位是否是枚举类型中的某个函数 然后进入该函数执行
JAVA图片识别比对求助
关于JAVA图片识别比对求助: 有一个样本图片如下所示: ![图片说明](https://img-ask.csdn.net/upload/201711/02/1509608921_888910.jpg) 还有一个设计人员设计好的图片,如下所示: ![图片说明](https://img-ask.csdn.net/upload/201711/02/1509608935_810456.jpg) **如何通过JAVA技术识别出两样图片的不一致内容,并进行标记**,如下图所示: ![图片说明](https://img-ask.csdn.net/upload/201711/02/1509608899_309643.jpg) ,类似于找茬功能! 用JAVA语言如何实现? 如何进行标记? ![图片说明](https://img-ask.csdn.net/upload/201711/02/1509609066_228020.jpg)
两个表比对,更新数据
mysql 里面 我有2个表,两个表分别是A和B A表里面有id 和sfzbh B表里面有id 和aid 和 sfzbh 现在A表里面有100W条数据 B表里面有20W条数据 我想将B表的数据和A表进行比对,如果发现B表数据在A表里面,那么B表的aid的值就等于A表的id 怎么循环查询更新 求教了,在线等,谢谢,2015-05-17 11:48分
怎么建立病毒特征库啊
求各位大神,个人能够建立病毒特征库吗,嗅探器抓到的包又怎么和库进行比对
java 处理指纹方面的问题
各位好! 最近要接触到java处理指纹方面的东西,请问如何从指纹上将指纹存入数据库【从指纹机上得到的指纹是什么形式的,然后会怎么进行处理后存入数据库或是厂家会提供处理的接口吗?】,然后java如何比对指纹。谢谢!
java对Excle进行操作。A表有id,name,B表有id,age。A表里的id比B表的多,但是B表的idA表都有,想把A表的id与B表的id比对,一样的将A表的name写入到B表对应的id行
java对Excle进行操作。A表有id,name,B表有id,age。A表里的id比B表的多,但是B表的idA表都有,想把A表的id与B表的id比对,一样的将A表的name写入到B表对应的id行
Java操作Excel表格问题
怎样实现excel的内容比对,数据从数据库中读取出来,另一份数据用excel文件上传, 字段都是一样的,内容重复的删除。
WIN32怎么通过连接数据库进行操作
利用WIN32写一个简单的图书管理界面,里面的各项用例都需要连接到数据库操作,像登陆界面的用户名密码比对,图书的查找删除等。怎么做到这些呢,求大佬解惑
请教一个java 操作excel大数据量的问题
<br /> <br />我现在有一个这样的需求:用户传很多excel文件上来,每个excel文件大概有6w条记录的数据,多的有18万条记录,当然他可能在一个excel表里,也可能在多个excel表里。在这个excel工作簿里有一个关联编码是和数据库某字段,一一对应的,不能多,也不能少。数据库数据有100w条记录,我现在要比对用户上传的excel工作簿里的关联编码是否和数据库的一致且excel工作簿里的关联编码不能重复。向大家请教个好的解决方案!!!谢谢!!! <br />&nbsp; 先说明,这个是一个web开发,项目经理要求是,设计一个按钮,用户点击这个按钮后,所有的过程让java自动完成。 <br /> <br /> <br />而且,我的这个项目要求兼容2003与2007,请不要说用poi把整个excel加载进内存的方法,我试过了,一加载进来就oom了,测试的excel 还只有4万条数据量。<br/><strong>问题补充</strong><br/>首先谢谢大家的回复,我先试试大家的各种方法。也欢迎大家做进一步的指导。<br/><strong>问题补充</strong><br/>我好像有一点没说清楚,就是我的这个项目,是用java开发的。<br/><strong>问题补充</strong><br/>非常感谢大家的帮助,因为前段时间忙,没来论坛。谢谢大家!!!<br/><strong>问题补充</strong><br/>非常感谢大家的帮助,前段时间因为忙,所以没顾上,上论坛,谢谢大家的帮助。
利用TPCC比对传统数据库和分布式数据库性能
公司有一个利用负载均衡、中间件和和数据库集群搭载的分布式数据库,要求利用TPCC比较传统型数据库和分布式数据库的性能。 问一下如何在分布式数据库上允许TPCC程序测试数据库性能。
Java学习的正确打开方式
在博主认为,对于入门级学习java的最佳学习方法莫过于视频+博客+书籍+总结,前三者博主将淋漓尽致地挥毫于这篇博客文章中,至于总结在于个人,实际上越到后面你会发现学习的最好方式就是阅读参考官方文档其次就是国内的书籍,博客次之,这又是一个层次了,这里暂时不提后面再谈。博主将为各位入门java保驾护航,各位只管冲鸭!!!上天是公平的,只要不辜负时间,时间自然不会辜负你。 何谓学习?博主所理解的学习,它是一个过程,是一个不断累积、不断沉淀、不断总结、善于传达自己的个人见解以及乐于分享的过程。
程序员必须掌握的核心算法有哪些?
由于我之前一直强调数据结构以及算法学习的重要性,所以就有一些读者经常问我,数据结构与算法应该要学习到哪个程度呢?,说实话,这个问题我不知道要怎么回答你,主要取决于你想学习到哪些程度,不过针对这个问题,我稍微总结一下我学过的算法知识点,以及我觉得值得学习的算法。这些算法与数据结构的学习大多数是零散的,并没有一本把他们全部覆盖的书籍。下面是我觉得值得学习的一些算法以及数据结构,当然,我也会整理一些看过...
大学四年自学走来,这些私藏的实用工具/学习网站我贡献出来了
大学四年,看课本是不可能一直看课本的了,对于学习,特别是自学,善于搜索网上的一些资源来辅助,还是非常有必要的,下面我就把这几年私藏的各种资源,网站贡献出来给你们。主要有:电子书搜索、实用工具、在线视频学习网站、非视频学习网站、软件下载、面试/求职必备网站。 注意:文中提到的所有资源,文末我都给你整理好了,你们只管拿去,如果觉得不错,转发、分享就是最大的支持了。 一、电子书搜索 对于大部分程序员...
linux系列之常用运维命令整理笔录
本博客记录工作中需要的linux运维命令,大学时候开始接触linux,会一些基本操作,可是都没有整理起来,加上是做开发,不做运维,有些命令忘记了,所以现在整理成博客,当然vi,文件操作等就不介绍了,慢慢积累一些其它拓展的命令,博客不定时更新 free -m 其中:m表示兆,也可以用g,注意都要小写 Men:表示物理内存统计 total:表示物理内存总数(total=used+free) use...
比特币原理详解
一、什么是比特币 比特币是一种电子货币,是一种基于密码学的货币,在2008年11月1日由中本聪发表比特币白皮书,文中提出了一种去中心化的电子记账系统,我们平时的电子现金是银行来记账,因为银行的背后是国家信用。去中心化电子记账系统是参与者共同记账。比特币可以防止主权危机、信用风险。其好处不多做赘述,这一层面介绍的文章很多,本文主要从更深层的技术原理角度进行介绍。 二、问题引入 假设现有4个人...
程序员接私活怎样防止做完了不给钱?
首先跟大家说明一点,我们做 IT 类的外包开发,是非标品开发,所以很有可能在开发过程中会有这样那样的需求修改,而这种需求修改很容易造成扯皮,进而影响到费用支付,甚至出现做完了项目收不到钱的情况。 那么,怎么保证自己的薪酬安全呢? 我们在开工前,一定要做好一些证据方面的准备(也就是“讨薪”的理论依据),这其中最重要的就是需求文档和验收标准。一定要让需求方提供这两个文档资料作为开发的基础。之后开发...
网页实现一个简单的音乐播放器(大佬别看。(⊙﹏⊙))
今天闲着无事,就想写点东西。然后听了下歌,就打算写个播放器。 于是乎用h5 audio的加上js简单的播放器完工了。 演示地点演示 html代码如下` music 这个年纪 七月的风 音乐 ` 然后就是css`*{ margin: 0; padding: 0; text-decoration: none; list-...
Python十大装B语法
Python 是一种代表简单思想的语言,其语法相对简单,很容易上手。不过,如果就此小视 Python 语法的精妙和深邃,那就大错特错了。本文精心筛选了最能展现 Python 语法之精妙的十个知识点,并附上详细的实例代码。如能在实战中融会贯通、灵活使用,必将使代码更为精炼、高效,同时也会极大提升代码B格,使之看上去更老练,读起来更优雅。
数据库优化 - SQL优化
以实际SQL入手,带你一步一步走上SQL优化之路!
通俗易懂地给女朋友讲:线程池的内部原理
餐盘在灯光的照耀下格外晶莹洁白,女朋友拿起红酒杯轻轻地抿了一小口,对我说:“经常听你说线程池,到底线程池到底是个什么原理?”
经典算法(5)杨辉三角
杨辉三角 是经典算法,这篇博客对它的算法思想进行了讲解,并有完整的代码实现。
使用 Docker 部署 Spring Boot 项目
Docker 技术发展为微服务落地提供了更加便利的环境,使用 Docker 部署 Spring Boot 其实非常简单,这篇文章我们就来简单学习下。首先构建一个简单的 S...
英特尔不为人知的 B 面
从 PC 时代至今,众人只知在 CPU、GPU、XPU、制程、工艺等战场中,英特尔在与同行硬件芯片制造商们的竞争中杀出重围,且在不断的成长进化中,成为全球知名的半导体公司。殊不知,在「刚硬」的背后,英特尔「柔性」的软件早已经做到了全方位的支持与支撑,并持续发挥独特的生态价值,推动产业合作共赢。 而对于这一不知人知的 B 面,很多人将其称之为英特尔隐形的翅膀,虽低调,但是影响力却不容小觑。 那么,在...
面试官:你连RESTful都不知道我怎么敢要你?
干货,2019 RESTful最贱实践
刷了几千道算法题,这些我私藏的刷题网站都在这里了!
遥想当年,机缘巧合入了 ACM 的坑,周边巨擘林立,从此过上了"天天被虐似死狗"的生活… 然而我是谁,我可是死狗中的战斗鸡,智力不够那刷题来凑,开始了夜以继日哼哧哼哧刷题的日子,从此"读题与提交齐飞, AC 与 WA 一色 ",我惊喜的发现被题虐既刺激又有快感,那一刻我泪流满面。这么好的事儿作为一个正直的人绝不能自己独享,经过激烈的颅内斗争,我决定把我私藏的十几个 T 的,阿不,十几个刷题网...
白话阿里巴巴Java开发手册高级篇
不久前,阿里巴巴发布了《阿里巴巴Java开发手册》,总结了阿里巴巴内部实际项目开发过程中开发人员应该遵守的研发流程规范,这些流程规范在一定程度上能够保证最终的项目交付质量,通过在时间中总结模式,并推广给广大开发人员,来避免研发人员在实践中容易犯的错误,确保最终在大规模协作的项目中达成既定目标。 无独有偶,笔者去年在公司里负责升级和制定研发流程、设计模板、设计标准、代码标准等规范,并在实际工作中进行...
SQL-小白最佳入门sql查询一
不要偷偷的查询我的个人资料,即使你再喜欢我,也不要这样,真的不好;
redis分布式锁,面试官请随便问,我都会
文章有点长并且绕,先来个图片缓冲下! 前言 现在的业务场景越来越复杂,使用的架构也就越来越复杂,分布式、高并发已经是业务要求的常态。像腾讯系的不少服务,还有CDN优化、异地多备份等处理。 说到分布式,就必然涉及到分布式锁的概念,如何保证不同机器不同线程的分布式锁同步呢? 实现要点 互斥性,同一时刻,智能有一个客户端持有锁。 防止死锁发生,如果持有锁的客户端崩溃没有主动释放锁,也要保证锁可以正常释...
项目中的if else太多了,该怎么重构?
介绍 最近跟着公司的大佬开发了一款IM系统,类似QQ和微信哈,就是聊天软件。我们有一部分业务逻辑是这样的 if (msgType = "文本") { // dosomething } else if(msgType = "图片") { // doshomething } else if(msgType = "视频") { // doshomething } else { // doshom...
Nginx 原理和架构
Nginx 是一个免费的,开源的,高性能的 HTTP 服务器和反向代理,以及 IMAP / POP3 代理服务器。Nginx 以其高性能,稳定性,丰富的功能,简单的配置和低资源消耗而闻名。 Nginx 的整体架构 Nginx 里有一个 master 进程和多个 worker 进程。master 进程并不处理网络请求,主要负责调度工作进程:加载配置、启动工作进程及非停升级。worker 进程负责处...
“狗屁不通文章生成器”登顶GitHub热榜,分分钟写出万字形式主义大作
一、垃圾文字生成器介绍 最近在浏览GitHub的时候,发现了这样一个骨骼清奇的雷人项目,而且热度还特别高。 项目中文名:狗屁不通文章生成器 项目英文名:BullshitGenerator 根据作者的介绍,他是偶尔需要一些中文文字用于GUI开发时测试文本渲染,因此开发了这个废话生成器。但由于生成的废话实在是太过富于哲理,所以最近已经被小伙伴们给玩坏了。 他的文风可能是这样的: 你发现,...
程序员:我终于知道post和get的区别
是一个老生常谈的话题,然而随着不断的学习,对于以前的认识有很多误区,所以还是需要不断地总结的,学而时习之,不亦说乎
《程序人生》系列-这个程序员只用了20行代码就拿了冠军
你知道的越多,你不知道的越多 点赞再看,养成习惯GitHub上已经开源https://github.com/JavaFamily,有一线大厂面试点脑图,欢迎Star和完善 前言 这一期不算《吊打面试官》系列的,所有没前言我直接开始。 絮叨 本来应该是没有这期的,看过我上期的小伙伴应该是知道的嘛,双十一比较忙嘛,要值班又要去帮忙拍摄年会的视频素材,还得搞个程序员一天的Vlog,还要写BU...
加快推动区块链技术和产业创新发展,2019可信区块链峰会在京召开
11月8日,由中国信息通信研究院、中国通信标准化协会、中国互联网协会、可信区块链推进计划联合主办,科技行者协办的2019可信区块链峰会将在北京悠唐皇冠假日酒店开幕。   区块链技术被认为是继蒸汽机、电力、互联网之后,下一代颠覆性的核心技术。如果说蒸汽机释放了人类的生产力,电力解决了人类基本的生活需求,互联网彻底改变了信息传递的方式,区块链作为构造信任的技术有重要的价值。   1...
Java世界最常用的工具类库
Apache Commons Apache Commons有很多子项目 Google Guava 参考博客
程序员把地府后台管理系统做出来了,还有3.0版本!12月7号最新消息:已在开发中有github地址
第一幕:缘起 听说阎王爷要做个生死簿后台管理系统,我们派去了一个程序员…… 996程序员做的梦: 第一场:团队招募 为了应对地府管理危机,阎王打算找“人”开发一套地府后台管理系统,于是就在地府总经办群中发了项目需求。 话说还是中国电信的信号好,地府都是满格,哈哈!!! 经常会有外行朋友问:看某网站做的不错,功能也简单,你帮忙做一下? 而这次,面对这样的需求,这个程序员...
网易云6亿用户音乐推荐算法
网易云音乐是音乐爱好者的集聚地,云音乐推荐系统致力于通过 AI 算法的落地,实现用户千人千面的个性化推荐,为用户带来不一样的听歌体验。 本次分享重点介绍 AI 算法在音乐推荐中的应用实践,以及在算法落地过程中遇到的挑战和解决方案。 将从如下两个部分展开: AI算法在音乐推荐中的应用 音乐场景下的 AI 思考 从 2013 年 4 月正式上线至今,网易云音乐平台持续提供着:乐屏社区、UGC...
【技巧总结】位运算装逼指南
位算法的效率有多快我就不说,不信你可以去用 10 亿个数据模拟一下,今天给大家讲一讲位运算的一些经典例子。不过,最重要的不是看懂了这些例子就好,而是要在以后多去运用位运算这些技巧,当然,采用位运算,也是可以装逼的,不信,你往下看。我会从最简单的讲起,一道比一道难度递增,不过居然是讲技巧,那么也不会太难,相信你分分钟看懂。 判断奇偶数 判断一个数是基于还是偶数,相信很多人都做过,一般的做法的代码如下...
为什么要学数据结构?
一、前言 在可视化化程序设计的今天,借助于集成开发环境可以很快地生成程序,程序设计不再是计算机专业人员的专利。很多人认为,只要掌握几种开发工具就可以成为编程高手,其实,这是一种误解。要想成为一个专业的开发人员,至少需要以下三个条件: 1) 能够熟练地选择和设计各种数据结构和算法 2) 至少要能够熟练地掌握一门程序设计语言 3) 熟知所涉及的相关应用领域的知识 其中,后两个条件比较容易实现,而第一个...
Android 9.0 init 启动流程
阅读五分钟,每日十点,和您一起终身学习,这里是程序员Android本篇文章主要介绍Android开发中的部分知识点,通过阅读本篇文章,您将收获以下内容:一、启动流程概述一、 启动流程概述Android启动流程跟Linux启动类似,大致分为如下五个阶段。1.开机上电,加载固化的ROM。2.加载BootLoader,拉起Android OS。3.加载Uboot,初始外设,引导Kernel启动等。...
相关热词 c# 输入ip c# 乱码 报表 c#选择结构应用基本算法 c# 收到udp包后回包 c#oracle 头文件 c# 序列化对象 自定义 c# tcp 心跳 c# ice连接服务端 c# md5 解密 c# 文字导航控件
立即提问