[发明专利]一种基于统一关联超图规约的跨媒体检索方法

权利要求书

1.一种基于统一关联超图规约的跨媒体检索方法，包括以下步骤：

(1)建立包含多种媒体类型的跨媒体数据集，提取每种媒体类型数据的特征向量；

(2)通过跨媒体数据集，同时为所有媒体类型学习得到统一特征表示映射矩阵；该步骤首先构建跨媒体统一关联超图，然后定义基于统一关联超图规约的目标函数，使得映射后的特征空间分布符合已知的跨媒体关联；所述目标函数为：

其中，定义为第r种媒体类型中的第p个数据的特征向量，其表示结构为一个d^(r)×1的向量，其中d^(r)表示第r种媒体的特征向量维度；定义的语义标签定义为其表示结构为一个c×1的向量，其中c表示语义类别的总量，中有且只有一维为1，其余为0，表示该数据的语义类别值为1的列所对应的标签；P⁽¹⁾,...,P^(s)为跨媒体数据集中所有s种媒体类型的映射矩阵，其中上标(s)表示第s种媒体类型的映射矩阵，矩阵的维度为d^(s)×c，将原始的特征向量从d^(s)维的空间映射到一个统一的c维的统一空间中；P^T表示矩阵P的转置；即为数据通过映射矩阵变换到统一空间后的向量，维度为c×1；1_c表示一个c×1的全1列向量，b为偏移项，用于构造线性规约模型；||Z||_F表示矩阵Z的Frobenius范数，其定义为：上式中λ表示权重参数，||Z||_2,1表示矩阵Z的l_2,1范数，其定义为：最小化||Z||_2,1能够使得矩阵Z具有稀疏性；n^(r)为第r种媒体类型的数据个数；Ω(O)为跨媒体统一关联超图规约项，O代表所有映射到统一空间后的媒体数据；

(3)根据映射矩阵，将不同媒体类型映射到统一空间，在统一空间中计算媒体数据间的相似性；

(4)进行跨媒体检索时，以任意一种媒体类型作为查询，按照步骤(3)计算其与作为查询目标的媒体类型数据的相似性，并根据相似性从大到小排序，最终输出检索结果。

2.如权利要求1所述的方法，其特征在于，步骤(1)所述多种媒体类型为如下五种媒体类型中的一种或多种：图像、文本、视频、音频和3D模型。

3.如权利要求1所述的方法，其特征在于，步骤(1)对五种媒体提取的特征向量具体为：文本数据是提取隐狄雷克雷分布特征向量；图像数据是提取词袋特征向量；视频数据是提取关键帧后，对关键帧提取词袋特征向量；音频数据是提取其梅尔频率倒谱系数特征向量；3D数据是提取其光场特征向量。

4.如权利要求1所述的方法，其特征在于，步骤(2)中统一特征表示映射矩阵的学习方法是在同一张超图中统一建模所有媒体类型，而不是对每种媒体类型分别建模；具体地，该方法将所有媒体映射到统一空间后的点作为超图顶点，将每个顶点的k近邻作为超边建立统一关联超图，利用媒体内部和媒体之间的关联关系，使得映射后的特征空间分布符合已知的跨媒体关联。

5.如权利要求1所述的方法，其特征在于，第三项目标函数Ω(O)用于表示复杂的跨媒体关联关系，使得得到的特征能够反映已知的跨媒体关联；统一关联超图的建法为：

定义统一关联超图G＝{V，E，H，w}，其中V为点集，E为超边集，H为关联矩阵，w为超边权重集；V，E，H，w的构造方法如下：

V：所有映射到统一空间后的媒体数据；

E：对于V中的任意一点v_i，将其k近邻使用一条超边连接，如此构成超边集；

H：对于V中的任意一点v_i及E中任意一条超边e_j，若v_i∈e_j，则令H_ij＝1，否则H_ij＝0；

w：本方法中，令所有超边的权重w_j均为1；

该规约项的定义为：

其中，分别代表第r种、第k种媒体的所有数据构成的矩阵；L_rk代表在统一关联超图的拉普拉斯L中，按照对应媒体类型r的行以及对应媒体类型k的列所取出的子矩阵。