[发明专利]融合三元组损失和生成对抗网络的多标签图像检索方法有效
申请号: | 201910605728.X | 申请日: | 2019-07-05 |
公开(公告)号: | CN110321957B | 公开(公告)日: | 2023-03-24 |
发明(设计)人: | 冯永;黄嘉琪;强保华;尚家兴;刘大江 | 申请(专利权)人: | 重庆大学;桂林电子科技大学 |
主分类号: | G06V10/774 | 分类号: | G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/08;G06F16/58 |
代理公司: | 重庆乐泰知识产权代理事务所(普通合伙) 50221 | 代理人: | 刘佳 |
地址: | 400030 *** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 融合 三元 损失 生成 对抗 网络 标签 图像 检索 方法 | ||
本发明提供了一种融合三元组损失和生成对抗网络的多标签图像检索方法,其包括步骤:搭建深度学习框架,部署生成对抗网络模型;输入图像数据集至生成对抗网络模型中以获取多标签图像和三元组数据;基于多标签图像构建三元组损失函数;从图像数据集中选取第一图像对深度哈希编码网络进行训练以获取完成训练的深度哈希编码网络;从图像数据集中选取预设数量的第二图像,将第二图像输入完成训练的深度哈希编码网络以获取哈希向量数据库;将需要检索的第一图像输入完成训练的深度哈希编码网络以检索出与第一图像相似的第二图像。本发明通过使用生成对抗网络生成与数据集样本相似的多标签生成图片,扩充了训练数据量,提高了图像的检索速度和精度。
技术领域
本发明涉及图像检索领域,尤其涉及一种融合三元组损失和生成对抗网络的多标签图像检索方法。
背景技术
随着互联网上图像和视频数据的爆炸式增长,大规模的图像检索任务近年来受到越来越多的关注。图像检索系统的主要任务是既要保证检索结果中的图像质量,也要保证检索的效率,同时还需要解决如何将海量信息进行高效储存,从而让用户拥有更好的体验。
有效地表示图像是大规模图像检索的一项重要任务。由于二进制哈希码的计算效率和存储效率,二进制哈希得到了广泛的关注。它的目标是将高维图像数据映射到同一个汉明空间中同时保持一定的相似性概念。使用二进制哈希码来对图像进行表示不仅便于计算机使用位运算来快速比较图像特征,从而高效的得出检索结果,同时也减少了计算机存储空间占用。近年来随着深度学习模型的兴起,利用深度哈希网络的哈希方法在图像检索中具有更好的效果。
由于图像数据具有较高复杂性,在进行检索任务时往往会遇上大量的多标签图像数据,如一张人抱着狗的图像,其标签信息不仅有“人”,还有“狗”这一标签。这无疑增加检索难度。传统的多标签图像检索方法一般基于有监督信息的哈希方法,使用数据集中的训练图像对模型进行训练,在训练过程中引入三元组损失来训练模型,每一组三元组包含一个基准图像、一个正例图像和一个反例图像,其中正例图像比反例图像更类似于基准图像,通过不断训练使得基准图像与正例图像在汉明空间中距离更近,与反例图像距离更远,以此来学习到图像之间的相似度关系。但是这一方法依赖于对数据集中能构成三元组数据的数量。首先,以数据集中所有数据构成三元组来进行训练是不可行的,过于特殊化的三元组数据反而会影响模型训练结果;其次,如何选择有益与模型训练的三元组数据也是这一方法的难点;最后,对于有监督学习方法而言,由于缺乏相似度信息,带有足够相似度标记信息的图像数据收集成本往往很高,所以传统方法使用大小有限的多标签图像数据集进行训练,这可能会与训练数据过度匹配,导致检索质量的大幅下降。
现有的使用生成对抗网络网络方法可以生成近似与真实图片的生成图片来达到扩充训练样本的目的,但仅限于生成只有一个标签的简单图片,而没有生成近似于真实的多标签图片,所以在基于三元组损失的多标签图像检索中缺乏足够的训练数据。
发明内容
本发明针对现有方式的缺点,提出一种融合三元组损失和生成对抗网络的多标签图像检索方法,用以解决现有技术存在的上述问题。
根据本发明的一个方面,提供了一种融合三元组损失和生成对抗网络的多标签图像检索方法,包括如下步骤:
搭建深度学习框架,部署生成对抗网络模型,所述生成对抗网络模型包括深度哈希编码网络;
输入图像数据集至所述生成对抗网络模型中以获取与所述图像数据集相似的多标签图像,及获取由所述多标签图像与图像数据集结合组成的三元组数据;
基于所述多标签图像构建三元组损失函数;
从图像数据集中选取预设数量的第一图像对所述深度哈希编码网络进行训练以获取完成训练的深度哈希编码网络;
从图像数据集中选取预设数量的第二图像,将所述第二图像输入完成训练的深度哈希编码网络以获取哈希向量数据库;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆大学;桂林电子科技大学,未经重庆大学;桂林电子科技大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910605728.X/2.html,转载请声明来源钻瓜专利网。