如何快速从大量图片中,查找出相似图片 5C

1 需求:学员的训练图片,经常有几百张,要求从几百张找出很类似的图片,展现在页面

2 方法:采用计算“汉明距离”来计算图片的相似度

/**
 * 计算"汉明距离"(Hamming distance)。
 * 如果不相同的数据位不超过5,就说明两张图片很相似;如果大于10,就说明这是两张不同的图片。
 * @param sourceHashCode 源hashCode
 * @param hashCode 与之比较的hashCode
 */
public static int hammingDistance(String sourceHashCode, String hashCode) {
    int difference = 0;
    int len = sourceHashCode.length();

    for (int i = 0; i < len; i++) {
        if (sourceHashCode.charAt(i) != hashCode.charAt(i)) {
            difference ++;
        } 
    }

    return difference;
}


/**
 * 生成图片指纹
 * @param filename 文件名
 * @return 图片指纹
 */
public static String produceFingerPrint(String filename) {
    BufferedImage source = ImageHelper.readPNGImage(filename);// 读取文件

    int width = 8;
    int height = 8;

    // 第一步,缩小尺寸。
    // 将图片缩小到8x8的尺寸,总共64个像素。这一步的作用是去除图片的细节,只保留结构、明暗等基本信息,摒弃不同尺寸、比例带来的图片差异。
    BufferedImage thumb = ImageHelper.thumb(source, width, height, false);

    // 第二步,简化色彩。
    // 将缩小后的图片,转为64级灰度。也就是说,所有像素点总共只有64种颜色。
    int[] pixels = new int[width * height];
    for (int i = 0; i < width; i++) {
        for (int j = 0; j < height; j++) {
            pixels[i * height + j] = ImageHelper.rgbToGray(thumb.getRGB(i, j));
        }
    }

    // 第三步,计算平均值。
    // 计算所有64个像素的灰度平均值。
    int avgPixel = ImageHelper.average(pixels);

    // 第四步,比较像素的灰度。
    // 将每个像素的灰度,与平均值进行比较。大于或等于平均值,记为1;小于平均值,记为0。
    int[] comps = new int[width * height];
    for (int i = 0; i < comps.length; i++) {
        if (pixels[i] >= avgPixel) {
            comps[i] = 1;
        } else {
            comps[i] = 0;
        }
    }

    // 第五步,计算哈希值。
    // 将上一步的比较结果,组合在一起,就构成了一个64位的整数,这就是这张图片的指纹。组合的次序并不重要,只要保证所有图片都采用同样次序就行了。
    StringBuffer hashCode = new StringBuffer();
    for (int i = 0; i < comps.length; i+= 4) {
        int result = comps[i] * (int) Math.pow(2, 3) + comps[i + 1] * (int) Math.pow(2, 2) + comps[i + 2] * (int) Math.pow(2, 1) + comps[i + 2];
        hashCode.append(binaryToHex(result));
    }

    // 得到指纹以后,就可以对比不同的图片,看看64位中有多少位是不一样的。
    return hashCode.toString();
}


public static void main(String args[]){
        String srcFile = "E:\\src.jpg";
        String descFile = "E:\\src.jpg";
        String srcHashCode = produceFingerPrint(srcFile);
        String descHashCode = produceFingerPrint(srcFile);
        int diff = hammingDistance(srcHashCode, descHashCode);
        if(diff == 0) System.out.println("两张图片一样");
}

3 问题:两种图片比对大约几百MS,几百张图片循环比对花费时间太长,有什么方式提高效果?

2个回答

java有个并行处理,7以上fork join 到8的时候形式有点变,但是在数据量大的时候,或者运算比较复杂的时候,效率提升的很明显,你可以学习了解一下试试

Lost_life_
Lost_life_ 回复cat100508: 可能程序需要进行一点点优化,因为我现在也用fork join解析,我的数据量大概在1到10g之间(一般正常点的数据3g左右),用spark hadoop什么的又不够量
5 个月之前 回复
cat100508
cat100508 fork join提高了图片对比效率,但多线程太吃内存,吃掉几G
5 个月之前 回复
cat100508
cat100508 好的,多谢
5 个月之前 回复

刚才大概看了楼主的的算法和问题,建议有如下,如果楼主只是一台机子在跑的话,
1.很明显楼主的操作是分布,而且每一步所有的cpu和内存并不一样,所有每一步都开一个线程池,处理数据慢的步骤线程池开多一些,处理数据块的步骤线程池开少一些,自己调优,
2.针对线程池之间的通讯,可以用queue,如果在图片解析这一步所需要的内存比较多并且你自己内存撑不住的话,直接写到磁盘里面,够用就直接queue通讯就好了
3.其实楼上说的也对,fork/join框架主要是把大任务分解为任务,其实楼主写算法的时候就已经发步骤写的很清楚了,
4.个人认为,只要把cpu和内存跑到最高,那基本剩下的就只有算法优化了(比如解析图片算法,计算hash算法,比较像素灰度算法)。
5.如果有钱,直接搭一个大数据服务器,10多个G的数据也就是一两分钟的事

Lost_life_
Lost_life_ 10g左右的数据我之前大了一个hadoop环境进行解析,虽然是快,但是其实很浪费资源,而且文件的传输过程也是很麻烦切耗时的,不值得,除非每天都有超过10g或者更大的数据才值得这么做
5 个月之前 回复
cat100508
cat100508 多谢分享
5 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
通过上传图片(手机拍摄),在本地图片库中查找出匹配的图片,要怎么实现,求解决方案?
-
java set集合快速查找?
-
如何在大量高维向量集合中快速查找余弦距离最近的一个
-
sqlserver 2008从一张表中查找出在这两个日期(字段为datetime类型)范围内的记录
-
javacv下面通过findContours查找轮廓,如何找到轮廓线上的所有点在图片上的坐标?
-
C语言中的折半查找法是什么������
-
如何快速的查找出满足条件的物品
-
如何使用OpenCV查找图片中堆叠零件?
-
关于数据存储方案及快速查找方法
-
如何将opencv中LBP 与 hog 特征融合到一起训练生成模型,通过模型查找图片中的物体并框出来
-
从txt中读入大量数据(如何键入大量数据?)
-
二分法查找升序一维数组,结果不对
-
如何快速查找数据表里面的内容
-
java操作数据库中,PreparedStatement中可以如何插入int 类型数值进行查找?
-
IDEA如何快速查找Maven仓库里的包
-
基本数据类型是如何被查找的?
-
百万条数据下,查找当天某个设备的数据总和(sum),最效率!!!
-
急 处理大量数据 查找出重复的并去重(去重的导入另一张表中)
-
c# 查找字符串指定内容并替换
-
程序员真是太太太太太有趣了!!!
网络上虽然已经有了很多关于程序员的话题,但大部分人对这个群体还是很陌生。我们在谈论程序员的时候,究竟该聊些什么呢?各位程序员大佬们,请让我听到你们的声音!不管你是前端开发...
史上最详细的IDEA优雅整合Maven+SSM框架(详细思路+附带源码)
网上很多整合SSM博客文章并不能让初探ssm的同学思路完全的清晰,可以试着关掉整合教程,摇两下头骨,哈一大口气,就在万事具备的时候,开整,这个时候你可能思路全无 ~中招了咩~ ,还有一些同学依旧在使用eclipse或者Myeclipse开发,我想对这些朋友说IDEA 的编译速度很快,人生苦短,来不及解释了,直接上手idea吧。这篇文章每一步搭建过程都测试过了,应该不会有什么差错。本文章还有个比较优秀的特点,就是idea的使用,基本上关于idea的操作都算是比较详细的,所以不用太担心不会撸idea!最后,本文
史上最全的后端技术大全,你都了解哪些技术呢?
| 导语工欲善其事,必先利其器;士欲宣其义,必先读其书。后台开发作为互联网技术领域的掌上明珠,一直都是开发者们的追逐的高峰。本文将从后台开发所涉及到的技术术语出发,基于...
吃人的那些 Java 名词:对象、引用、堆、栈
作为一个有着 8 年 Java 编程经验的 IT 老兵,说起来很惭愧,我被 Java 当中的四五个名词一直困扰着:**对象、引用、堆、栈、堆栈**(栈可同堆栈,因此是四个名词,也是五个名词)。每次我看到这几个名词,都隐隐约约觉得自己在被一只无形的大口慢慢地吞噬,只剩下满地的衣服碎屑(为什么不是骨头,因为骨头也好吃)。
我花了一夜用数据结构给女朋友写个H5走迷宫游戏
起因 又到深夜了,我按照以往在csdn和公众号写着数据结构!这占用了我大量的时间!我的超越妹妹严重缺乏陪伴而 怨气满满! 而女朋友时常埋怨,认为数据结构这么抽象难懂的东西没啥作用,常会问道:天天写这玩意,有啥作用。而我答道:能干事情多了,比如写个迷宫小游戏啥的! 当我码完字准备睡觉时:写不好别睡觉! 分析 如果用数据结构与算法造出东西来呢? ...
团队中的 Git 实践
在 2005 年的某一天,Linux 之父 Linus Torvalds 发布了他的又一个里程碑作品——Git。它的出现改变了软件开发流程,大大地提高了开发流畅度!直到现...
不识 Pandas,纵是老手也枉然?
作者 |周志鹏 责编 | 郭 芮 这段时间和一些做数据分析的同学闲聊,我发现数据分析技能入门阶段存在一个普遍性的问题,很多凭着兴趣入坑的同学,都能够很快熟悉Python基础语法,然后不约而同的一头扎进《利用Python进行数据分析》这本经典之中,硬着头皮啃完之后,好像自己什么都会了一点,然而实际操作起来既不知从何操起,又漏洞百出。 至于原因嘛,理解不够,实践不够是两条老牌的拦路...
接班马云的为何是张勇?
上海人、职业经理人、CFO 背景,集齐马云三大不喜欢的张勇怎么就成了阿里接班人? 作者|王琳 本文经授权转载自燃财经(ID:rancaijing) 9月10日,张勇转正了,他由阿里巴巴董事局候任主席正式成为阿里巴巴董事局主席,这也意味着阿里巴巴将正式开启“逍遥子时代”。 从2015年接任CEO开始,张勇已经将阿里巴巴股价拉升了超过200%。但和马云强大的个人光环比,张勇显得尤其...
程序员终极面试指南!
身为技术人,如何拿下自己心仪的 offer? 作者|James Bedford 译者 |苏本如,责编 | 屠敏 出品 | CSDN(ID:CSDNnews) 以下为译文: 介绍 最近半年以来,我一直在积极指导开发人员,包括新手和有经验的开发人员。我发现,所有开发人员最关心的问题之一通常都是寻找工作。 如果你已经被录用了,很有可能你经历了一个令人精疲力竭的过程。...
我在快手认识了 4 位工程师,看到了快速发展的公司和员工如何彼此成就!
作者 | 胡巍巍 出品 | CSDN(ID:CSDNnews) 从西二旗地铁站B口出来,步行700多米可以看到一个工业建筑风格的院子。这个独立的院子和后厂村各大互联网公司的高楼林立有些不同。 院子里有7栋6层高的楼,几栋楼之间打通,可以从A栋自由穿行到F栋。这里就是快手总部。这个园区可以容纳6000多名员工,目前40%以上是研发人员。 这些研发人员维护着快手这款日活超过2亿的ap...
让程序员崩溃的瞬间(非程序员勿入)
今天给大家带来点快乐,程序员才能看懂。 来源:https://zhuanlan.zhihu.com/p/47066521 1. 公司实习生找 Bug 2.在调试时,将断点设置在错误的位置 3.当我有一个很棒的调试想法时 4.偶然间看到自己多年前写的代码 5.当我第一次启动我的单元测试时 ...
分享一个 pycharm 专业版的永久使用方法
刚开始接触Python,首先要解决的就是Python开发环境的搭建。 目前比较好用的Python开发工具是PyCharm,他有社区办和专业版两个版本,但是社区版支持有限,我们既然想好好学python,那肯定得用专业的不是。 但他专业版要么只能试用一个月,要么就是 $ , 身为猿军中的一员怎么能让他们这些小伎俩阻碍了我们继续前进的步伐呢?所以我在度娘的引导下,一步步实现了PyCharm的永久使用(虽...
用Python分析2000款避孕套,得出这些有趣的结论
到现在为止,我们的淘宝教程已经写到了第四篇,前三篇分别是: 第一篇:Python模拟登录淘宝,详细讲解如何使用requests库登录淘宝pc端。 第二篇:淘宝自动登录2.0,新增Cookies序列化,教大家如何将cookies保存起来。 第三篇:Python爬取淘宝商品避孕套,教大家如何爬取淘宝pc端商品信息。 今天,我们来看看淘宝系列的第四篇 我们在上一篇的时候已经将淘宝数据爬取下来了,...
无需安装,仅需 1 条指令,秒实现内网穿透的神器,你有用过吗?
什么是 ServeoServeo 是一个免费的内网穿透服务,Serveo 可以将本地计算机暴露在互联网上,官方声称其为 Ngrok 的绝佳替代品。Serveo 其最大优点...
作为曾经的 Web 开发“王者”,jQuery 的传奇怎么续写?
作为世界上使用最广泛的JavaScript库,jQuery曾经帮助过一代开发人员创建了适用于每种浏览器的网站,可以说,Web开发之所以能有今天,jQuery可谓功不可没。但是随着新的库、框架和范例的不断涌现,jQuery作为Web开发首选工具的地位已经逐渐不保......任何事物都有其自身发展的兴盛与衰落,短期内jQuery并不会消失,但是对于其来说,又该如何维稳逆袭呢? 作者|Da...
重磅:硬核前端面试开源项目汇总(进大厂必备)
复习前端面试的知识,是为了巩固前端的基础知识,最重要的还是平时的积累!”开源项目https://github.com/InterviewMap/CS-Interview...
为什么平头哥做芯片如此迅猛?
作者 | 胡巍巍 发自杭州云栖大会责编 | 唐小引出品 | CSDN(ID:CSDNnews)2018年10月31日,阿里旗下的平头哥半导体有限公司成立。如今,平头哥成立...
对计算机专业来说学历真的重要吗?
我本科学校是渣渣二本,研究生学校是985,现在毕业五年,校招笔试、面试,社招面试参加了两年了,就我个人的经历来说下这个问题。 这篇文章很长,但绝对是精华,相信我,读完以后,你会知道学历不好的解决方案,记得帮我点赞哦。 先说结论,无论赞不赞同,它本质就是这样:对于技术类工作而言,学历五年以内非常重要,但有办法弥补。五年以后,不重要。 目录: 张雪峰讲述的事实 我看到的事实 为什么会这样 ...
技术人员要拿百万年薪,必须要经历这9个段位
很多人都问,技术人员如何成长,每个阶段又是怎样的,如何才能走出当前的迷茫,实现自我的突破。所以我结合我自己10多年的从业经验,总结了技术人员成长的9个段位,希望对大家的职...
多线程编程是后台开发人员的基本功
这里先给大家分享一个小故事:在我刚开始参加工作的那年,公司安排我开发一款即时通讯软件(IM,类似于 QQ 聊天软件),在这之前我心里也知道如果多线程操作一个整型值是要加锁...
Java 网络爬虫,就是这么的简单
这是 Java 网络爬虫系列文章的第一篇,如果你还不知道 Java 网络爬虫系列文章,请参看 学 Java 网络爬虫,需要哪些基础知识。第一篇是关于 Java 网络爬虫入门内容,在该篇中我们以采集虎扑列表新闻的新闻标题和详情页为例,需要提取的内容如下图所示: 我们需要提取图中圈出来的文字及其对应的链接,在提取的过程中,我们会使用两种方式来提取,一种是 Jsoup 的方式,另一种是 httpcli...
相关热词 c#该名称在封闭局部范围 c#泛型 排序 c# 测试连接mysql c# 多线程 调用界面值 c# gdi unity c#反射构造带参对象 一起自学c# c#工厂方法 c# 对象属性保存xml u3d用c#写拾取物品

相似问题

2
如何在大量高维向量集合中快速查找余弦距离最近的一个
3
关于eclipse快捷键查找类中所有方法被是否被调用
1
算法问题:考察二分查找的平均成功查找长度和平均失败查找长度的关系,请看图
6
oracle sql语句按条件查找
1
安卓图片处理-怎么样在大图中识别到小图位置?(图中搜图)
2
从txt中读入大量数据(如何键入大量数据?)
1
请教python如何查找两个 EXCEL 中的相同单元格,计算对应值并导出?
1
splinter中利用 .fill( ) .find_by_id( )等函数进行查找, 却显示找不到html中存在的元素?为什么
1
File Associations中的*.class文件下查找不到Class File Editor
2
Linux下如何查找并清空日志文件?
0
word vba的查找通配符该如何写呢?
1
如何快速的查找出满足条件的物品
3
如何将opencv中LBP 与 hog 特征融合到一起训练生成模型,通过模型查找图片中的物体并框出来
2
二分查找判定树,有两个问题,求大佬支援。
2
请问NSIS怎样在一段信息中查找需要的字符串
1
jQuery 中查找id="myTable"的table的所有偶数行,语法为?
2
C++——排序与查找C++程序
0
字符串快速查找算法的问题,怎么使用 C 语言的程序的编写的办法怎么来查找的?
1
Linux命令如何用关键字查找日志报文
3
C语言用其中一个结构的体元素从文件中查找到相同的结构体之后如何从文件中输出查找到的那个结构体