[发明专利]一种基于锚点图的跨模态哈希学习方法

摘要

一种基于锚点图的跨模态哈希学习方法，特征是该方法包括以下步骤：（1）使用基于锚点图技术设计的目标函数得到个对象在图像模态和文本模态的二进制哈希编码和，以及图像模态和文本模态的投影矩阵和；（2）鉴于目标函数的非凸性质，通过交替更新的方式求解目标函数中的未知变量、、和；（3）基于求解得到的图像模态和文本模态的投影矩阵和，为查询样本和检索样本集中的样本生成二进制哈希编码；（4）基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离；（5）使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索。该方法能够基于锚点图技术快速得到真实相似度矩阵的近似矩阵。

主权项

1.一种基于锚点图的跨模态哈希学习方法，建立n个对象在图像模态和文本模态的特征分别为和其中，和分别表示第i个对象在图像模态和文本模态的特征向量，i＝1,2,…,n，d₁和d₂分别表示图像模态和文本模态特征向量的维数；同时假设图像模态和文本模态的特征向量都是经过零中心化预处理的，即满足假设和分别为图像模态和文本模态样本的邻接矩阵；矩阵A⁽¹⁾中的元素和矩阵A⁽²⁾中的元素分别表示图像模态和文本模态中第i个样本与第j个样本之间的相似度；假设S∈{0,1}^n×n为两个模态中样本之间的语义相关性矩阵，其中，S_ij表示图像模态中第i个样本与文本模态中第j个样本的语义相关性；如果图像模态中第i个样本与文本模态中第j个样本是语义相关的(至少属于一个相同的类别)，则S_ij＝1，否则S_ij＝0；特征在于，该方法包括以下步骤：(1)使用基于锚点图技术设计的目标函数得到n个对象在图像模态和文本模态的二进制哈希编码B₁和B₂，以及图像模态和文本模态的投影矩阵P₁和P₂；(2)鉴于目标函数的非凸性质，通过交替更新的方式求解目标函数中的未知变量B₁、B₂、P₁和P₂，即交替地求解如下三个子问题：固定B₁和B₂，求解P₁和P₂；固定B₂、P₁和P₂，求解B₁；固定B₁、P₁和P₂，求解B₂；(3)基于求解得到的图像模态和文本模态的投影矩阵P₁和P₂，为查询样本和检索样本集中的样本生成二进制哈希编码；(4)基于生成的二进制哈希编码计算查询样本到检索样本集中各个样本的汉明距离；(5)使用基于近似最近邻搜索的跨模态检索器完成对查询样本的检索。