[发明专利]一种基于锚点图的跨模态哈希学习方法有效

专利信息
申请号: 201811439568.8 申请日: 2018-11-29
公开(公告)号: CN109657112B 公开(公告)日: 2022-07-08
发明(设计)人: 董西伟;邓安远;胡芳;贾海英;周军;孙丽;杨茂保;王海霞 申请(专利权)人: 九江学院
主分类号: G06F16/907 分类号: G06F16/907;G06K9/62
代理公司: 湖北创融蓝图知识产权代理事务所(特殊普通合伙) 42276 代理人: 羊淑梅
地址: 332000 *** 国省代码: 江西;36
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 锚点图 跨模态哈希 学习方法
【说明书】:

一种基于锚点图的跨模态哈希学习方法,特征是该方法包括以下步骤:(1)使用基于锚点图技术设计的目标函数得到个对象在图像模态和文本模态的二进制哈希编码和,以及图像模态和文本模态的投影矩阵和;(2)鉴于目标函数的非凸性质,通过交替更新的方式求解目标函数中的未知变量、、和;(3)基于求解得到的图像模态和文本模态的投影矩阵和,为查询样本和检索样本集中的样本生成二进制哈希编码;(4)基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离;(5)使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索。该方法能够基于锚点图技术快速得到真实相似度矩阵的近似矩阵。

技术领域

发明涉及一种基于锚点图的跨模态哈希学习方法。

背景技术

随着信息技术的迅速发展,人类社会已经步入大数据时代,时时刻刻都会有来自于不同领域、不同应用的海量数据产生。面对爆炸式增长的数据,如何从中快速地检索出所需要的信息,从而确保数据的有效使用,已经成为大数据时代亟待解决并且非常具有挑战性的问题。

最近邻搜索,又称为相似性搜索,在诸如文档检索、物体识别和近似图像检测等诸多应用中扮演着重要的角色。在众多用于近似近邻搜索的方法中,基于哈希的搜索(检索)方法在近些年受到越来越多的关注。基于哈希的搜索方法能够将高维的特征数据映射成紧凑的二进制哈希编码并使得相似特征数据的哈希编码相同或者相似。例如,局部敏感哈希(Locality Sensitive Hashing,LSH)方法可以使高维空间中距离很近的两点,在经过哈希函数对这两点进行哈希编码后,它们的哈希编码有很大的概率是一样的,反之,若两点之间的距离较远,则它们的哈希编码相同的概率会很小。基于哈希的搜索方法具有存储要求低搜索效率高的优点。

跨模态哈希检索主要用于解决不同模态数据之间的相互检索问题,例如,用图像搜索文本、或者用文本搜索图像等。跨模态哈希检索方法需要对不同模态的数据进行哈希编码,生成紧凑的二进制哈希编码,然后基于生成的二进制哈希编码完成不同模态数据之间的相互检索。Bronstein等人较早提出了跨模态哈希方法,他们提出的方法可以确保两个相关的数据点具有相似的哈希编码,反之具有不相似的哈希编码。但是他们的提出的这个方法仅仅注重保留模态间的相关性,而忽视了模态内相似性的保持。Kumar等人提出了一种称为跨视图哈希(Cross-View Hashing,CVH)的方法将传统的谱哈希技术从单模态数据扩展到多模态数据,该方法可以学习一个能够保持所有模态局部结构的公共汉明空间。Zhu等人提出了线性跨模态哈希(Linear Cross-Modal Hashing,LCMH)方法。LCMH方法采用两阶段策略来学习跨模态哈希函数,即,首先使用锚点图将每个模态的数据进行低秩表示,然后通过学习哈希函数将每个锚点图空间的数据投影到一个公共的汉明空间。对于只学习一个公共汉明空间的跨模态哈希方法来说,它们不能够很好地同时刻画每个模态的局部结构。为了解决这个问题,Wang等人提出了线性桥接映射跨模态哈希(Learning BridgingMapping for Cross-modal Hashing,LBMCH)方法,LBMCH方法能够为每个模态学习一个可以实现局部结构保持的汉明空间,并且它能够自动地学习用于保持模态间语义一致性的桥接投影。为了有效地保持每个模态数据的局部结构,Zhai等人提出了一种参数化的局部多模态哈希 (Parametric Local Multimodal Hashing,PLMH)方法。PLMH方法通过将每个实例的哈希投影矩阵参数化为一些哈希投影基的线性组合来实现局部性和计算效率的平衡。Yu等人提出了鉴别成对字典哈希(Discriminative Coupled Dictionary Hashing,DCDH)方法,该方法首先联合使用不同模态的数据和类别信息来学习鉴别的成对字典,然后基于不同模态的数据在相应字典上的稀疏编码来学习哈希函数并将稀疏编码换成紧凑的二进制哈希编码。DCDH方法不仅可以保持模态内的相似性和模态间的相关性,还可以使多模态数据的稀疏表示具有很好的可解释性。Zhen等人提出了多模态潜在二进制嵌入(Multimodal Latent Binary Embedding,MLBE)方法,该方法使用概率生成模型来编码每个模态数据内部的相似性和不同模态数据间的相关性。但是MLBE方法不需要哈希编码的不同比特之间相互独立,这使得哈希编码的不同比特具有很高的冗余。Zhang等人提出了协同子空间图哈希(Collaborative Subspace Graph Hashing,CSGH)方法,该方法是一种两阶段协同学习架构,它首先使用每个模态特定的变换矩阵将相应模态的数据投影到潜在子空间,然后通过一个共享变换矩阵将每个模态的子空间连接成一个公共汉明空间。CSGH方法分别通过拉普拉斯正则和基于图的相关性约束来考虑特定模态的近邻结构和模态间的相关性。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于九江学院,未经九江学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201811439568.8/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code