[发明专利]一种基于子空间混合超图学习的交叉模态检索方法

权利要求书

1.一种基于子空间混合超图学习的交叉模态检索方法，其特征在于，步骤如下：

步骤1、基于典型相关性分析的公共子空间学习

在多媒体数据中，一个目标物体的多种表现形式构成多媒体的多模态数据表示；多模态数据图像和文本间由于存在着异构差异性，因此，二者的相似度不能直接度量；为方便图像和文本的相似度度量，将图像和文本映射到相同维度的公共子空间下，利用典型相关性分析CCA来学习多模态数据的公共子空间；

令表示图像和文本的集合，表示图像特征，表示文本特征，由于两种数据类型之间的异构差异性，会使d₁≠d₂；对于一个文本和图像对，即x_i和y_i，CCA通过最大化相关系数进行投影矩阵的学习；公共子空间投影数据表示为和其中最大化关系表示如公式(1)：

其中，Σ_xx和Σ_yy分别是图像和文本单模态内部协方差矩阵，Σ_xy＝Σ_yx是图像和文本模态间的协方差矩阵，W_x,W_y分别是图像和文本的投影矩阵；最终的目标函数表示如公式(2)，通过优化公式(2)获得投影矩阵，便将原始空间的多模态数据映射到公共子空间中，进行相似度度量；

因此对于交叉模态数据集中的每一对图像和文本在公共子空间中的投影表示为经过CCA投影之后，图像的特征表示为文本的特征表示为如此两种模态数据的特征就处在同一空间下，并且维度相同，进行距离的度量；为了方便区分，给投影之后的数据重新命名，令用表示在子空间中的图像和文本特征，他们将被用于混合超图学习以及交叉模态检索；

通过公共子空间的学习，将异构的多模态数据映射到同一公共子空间下，消除了异构差异性，同时CCA最大化保留了交叉模态样本对之间的关联性，应用于交叉模态检索；

步骤2、计算模态内部和模态间相似度

利用超图学习多模态样本之间的相关性，构建超图的首要步骤就是构建超边；首先计算样本相似度，然后利用相似度矩阵获得样本的k个最近的邻居构成超边；然而当前已有的跨模态检索方法只考虑模态间的相似度，忽略了模态内部的相似度，因此，为了提高跨模态检索准确率，额外考虑了模态内部相似度，通过模态内部的邻居分布信息，补充完善样本的关联性度量；

1)模态内部相似度

构建图像模态内部相似度，将直接通过跨模态返回的相似度高的图像也作为跨模态检索结果返回；

将公共子空间下的多模态数据样本看成一个顶点，即将x′_i当做顶点v_i，那么模态x′内部数据x′_i和x′_j之间的相似度S_xx(i,j)可以表示为公式(3)：

其中，σ是所有顶点间距离的中值；对于模态y′内部的相似度计算公式与公式(3)相同；

2)模态间相似度

模态间的相似度，通过公共子空间学习后，被映射到公共子空间中的两个模态之间的相似度矩阵计算公式与公式(3)相同，但是其中的v_i∈x′,v_j∈y′；

步骤3、计算混合邻接矩阵

为了构建混合超图模型，首先建立组合相似度矩阵，同时考虑模态间的相似度和模态内部的相似度，给定查询来自模态x′，返回结果为模态y′的情况下，组合相似度矩阵S_x的计算公式见公式(4)所示：

S_x＝θ*S_yy+(1-θ)*S_xy (4)

其中θ是平衡参数，均衡模态内部相似度和模态间相似度的贡献度；S_yy是模态y′内部的相似度，S_xy是模态间相似度；

同样的对于给定查询来自y′，返回结果为x′的情况下，组合相似度矩阵S_y的计算公式见公式(5)所示：

S_y＝θ*S_xx+(1-θ)*S_yx (5)

其中θ是平衡参数，S_xx是模态x′内部的相似度，是模态间相似度；

步骤4、构建超图

超图中的一条边连接的节点数量大于等于2，超边是由多个顶点构成的，使得超图嵌入了顶点间的高阶关系，而不仅仅是两个节点之间的关系；令G＝(V,E,w)表示一个超图，其中V表示顶点集，E表示超边的集合，w表示超边的权重向量；用一个关系矩阵来描述一个超图，关系矩阵的元素表示为H(v,e)，如果v∈e，也就是该顶点属于一条超边，则置为1，否则为0，即H(v,e)＝0；

采用K-NN方法构造超图模型；利用步骤3计算得到的组合相似度矩阵，分别计算每一个样本的k个邻居，并且通过邻居关系构造关系矩阵H；将超边的数量设置为样本点的数量，每一条超边对应一个顶点以及其k个最近的邻居，将这些点的对应H的元素设置为1；当所有点的邻居查找完毕后，就构成了一个完整的关系矩阵；

超图中除了顶点、边之外，还有一个非常重要的参数，即边的权重；其中的每一条超边权重的计算公式如式(6)所示：

其中S是组合相似度矩阵；当利用文本检索图像时S＝S_y，利用图像检索文本时S＝S_x；

步骤5、基于超图学习的交叉模态检索、重排序

基于超图的关系矩阵H，定义顶点v∈V的度为d(v)，超边e∈E的度为δ(e)，其中d(v)＝∑_e∈Ew(e)H(v,e)，δ(e)＝∑_v∈VH(v,e)；令D_v，D_e分别表示对角矩阵，其中对角线上的元素分别为顶点的度和超边的度，W同样表示一个对角矩阵，其对角元素为超边权重值；

定义超图学习的目标函数，如式(7)所示：

其中，f表示检索目标的排序分数向量，μ是平衡参数；通过优化目标函数(7)求得f；

令得到超图拉普拉斯Δ＝I-Θ，正则化的目标函数则重新表示成式(8)所示：

Ω(f)＝f^TΔf+μ(f-y)^T(f-y) (8)

通过对Ω(f)求导得：

通过式(9)便能够求得跨模态的检索结果；

通过输入不同的查询样本，对获得的跨模态检索的结果f进行重排序，从而获取与输入查询最相关的另一个模态的样本。