[发明专利]一种跨媒体检索方法

摘要

本发明公布了一种跨媒体数据检索方法，通过基于耦合的特征映射、同种媒体内和不同媒体间的关联挖掘进行跨媒体检索，包括：建立多媒体数据集、对样本集中的所有样本进行耦合特征映射、进行同种媒体类型内的关联挖掘、进行异种媒体类型间的关联挖掘、通过两种关联挖掘方法得到待检索图像或待检索文本的类别概率矩阵进行加权，分别得到图像检索文本的类别相似度矩阵和文本检索图像的类别相似度矩阵、将相似度降序排列进行检索。本发明提供的技术方案整体性能较好、适用性较广，可以用在多种跨媒体检索场景中。

主权项

1.一种跨媒体数据检索方法，通过基于耦合的特征映射、同种媒体内和不同媒体间的关联挖掘进行跨媒体检索，包括如下步骤：1)建立多媒体数据集，多媒体数据集包括两种媒体的样本集，分别为包含图像的样本集和包含文本的样本集；所述两种媒体样本集均分为训练样本和测试样本，由此得到图像训练样本、图像测试样本、文本训练样本和文本测试样本；2)对样本集中的所有样本进行耦合特征映射，使得异构的原始图像特征和原始文本特征映射到同构的空间中，在映射的过程中保留语义类别信息；所述进行耦合特征映射包括如下步骤：21)将多媒体数据集定义为D＝{D₁,D₂,...,D_n}，其中表示图像和文本这两种模态的原始特征，n表示样本的个数；对于图像其中d^I表示图像原始特征的维度；对于文本其中d^T表示文本原始特征的维度；是类别标签矩阵，其中c为类别的数目；22)采用岭回归的方法，通过最小化映射后的每种模态的特征与类别标签的误差求解两个特征映射矩阵和即解式1的最小化问题：其中，参数λ为正则项参数，通过交叉验证选取；表示二范数；23)将式1中UI和UT的解表示为式2：式2中，I0表示单位矩阵；24)用UI和UT将图像和文本的原始特征映射到类别空间中，表示为式3：I＝XIUI T＝XTUT  (式3)其中，分别表示映射后的图像和文本的同构的特征矩阵；3)通过耦合特征映射得到两个特征映射矩阵，原始图像特征和原始文本特征分别通过所对应的特征映射矩阵进行映射，得到待检索图像样本特征点或待检索文本样本特征点；4)进行同种媒体类型内的关联挖掘：对于经过耦合特征映射后得到的待检索图像或待检索文本，在图像训练样本或文本训练样本中找到与所述待检索图像或待检索文本相近的前k个图像或文本，根据k个图像或文本的类别得到待检索图像或待检索文本的类别概率矩阵；5)进行异种媒体类型间的关联挖掘：对于经过耦合特征映射后得到的待检索图像或待检索文本，在文本训练样本或图像训练样本中找到与所述待检索图像或待检索文本相近的前k个文本或图像，根据k个文本或图像的类别得到待检索图像或待检索文本的类别概率矩阵；所述进行同种媒体数据内的关联挖掘和异种媒体数据间的关联挖掘，具体包括如下步骤：41)将同种媒体数据内的关联挖掘通过耦合特征映射得到的待测样本特征点设为或用KNN方法在同种媒体类型的训练样本中找到k个最近邻，实现在每种类型的媒体内部挖掘语义类别信息；42)将待测图像查询Ii属于类别c的概率定义为式4：式4中，Ik∈KNN(Ii)表示对待测图像查询Ii，在训练数据集中检索k个最近邻的图像Ik；Lk＝c表示图像Ik的类别标签等于c；σ(z)＝(1+exp(‑z))‑1是sigmoid函数；sim(Ii,Ik)表示两个数据点间的度量方法；43)所述耦合特征映射将不同媒体数据间的异构特征映射到同一类别空间，通过以下方法衡量跨媒体类型数据间的相似性：对于同样的待测图像查询Ii，将式4变为式5：式5中，Tk∈KNN(Ii)表示对待测图像查询Ii，在训练数据集中检索k个最近邻的文本Tk；Lk＝c表示文本Tk的类别标签等于c；44)对于m个待测图像查询，将式4和式5写成式6类别概率矩阵的形式：其中，相似地，对于m个待测文本查询，给出及的定义；45)对于跨媒体的图像检索文本Img2Text和文本检索图像Text2Img,各自的类别相似度矩阵可分别通过式7进行计算：其中，t1、t2是根据实验结果得出的经验权重；46)将按照降序排序；利用S_I，S_T的降序排列计算得到检索结果；6)通过对步骤4)和步骤5)中通过两种关联挖掘方法得到待检索图像或待检索文本的类别概率矩阵进行加权，分别得到图像检索文本的类别相似度矩阵和文本检索图像的类别相似度矩阵；将相似度降序排列进行检索。