[发明专利]一种基于统一关联超图规约的跨媒体检索方法

摘要

本发明涉及一种基于统一关联超图规约的跨媒体检索方法，包括以下步骤：1.建立包含多种媒体类型的跨媒体数据集，提取每种媒体类型数据的特征向量；2.通过跨媒体数据集，同时为所有媒体学习得到统一特征表示映射矩阵，通过在一个关联超图中建模所有媒体数据，综合考虑了所有媒体的关联关系；3.根据映射矩阵，将不同媒体类型映射到统一空间，在统一空间中计算媒体数据的相似性；4.以任意一种媒体类型作为查询，计算其与作为查询目标的媒体类型数据的相似性，并根据相似性从大到小排序，最终输出检索结果。本发明将所有媒体数据建模在一个超图中，提高了建模的统一性和信息的多样性，提高了跨媒体检索的准确率。

主权项

1.一种基于统一关联超图规约的跨媒体检索方法，包括以下步骤：(1)建立包含多种媒体类型的跨媒体数据集，提取每种媒体类型数据的特征向量；(2)通过跨媒体数据集，同时为所有媒体类型学习得到统一特征表示映射矩阵；该步骤首先构建跨媒体统一关联超图，然后定义基于统一关联超图规约的目标函数，使得映射后的特征空间分布符合已知的跨媒体关联；所述目标函数为：其中，定义为第r种媒体类型中的第p个数据的特征向量，其表示结构为一个d^(r)×1的向量，其中d^(r)表示第r种媒体的特征向量维度；定义的语义标签定义为其表示结构为一个c×1的向量，其中c表示语义类别的总量，中有且只有一维为1，其余为0，表示该数据的语义类别值为1的列所对应的标签；P⁽¹⁾,...,P^(s)为跨媒体数据集中所有s种媒体类型的映射矩阵，其中上标(s)表示第s种媒体类型的映射矩阵，矩阵的维度为d^(s)×c，将原始的特征向量从d^(s)维的空间映射到一个统一的c维的统一空间中；P^T表示矩阵P的转置；即为数据通过映射矩阵变换到统一空间后的向量，维度为c×1；1_c表示一个c×1的全1列向量，b为偏移项，用于构造线性规约模型；||Z||_F表示矩阵Z的Frobenius范数，其定义为：上式中λ表示权重参数，||Z||_2,1表示矩阵Z的l_2,1范数，其定义为：最小化||Z||_2,1能够使得矩阵Z具有稀疏性；n^(r)为第r种媒体类型的数据个数；Ω(O)为跨媒体统一关联超图规约项，O代表所有映射到统一空间后的媒体数据；(3)根据映射矩阵，将不同媒体类型映射到统一空间，在统一空间中计算媒体数据间的相似性；(4)进行跨媒体检索时，以任意一种媒体类型作为查询，按照步骤(3)计算其与作为查询目标的媒体类型数据的相似性，并根据相似性从大到小排序，最终输出检索结果。