[发明专利]一种基于子空间学习与半监督正则化的跨媒体检索方法

权利要求书

1.一种基于子空间学习与半监督正则化的跨媒体检索方法，其特征在于，包括步骤：

步骤一，建立多媒体数据库，

收集多媒体原始数据；提取多媒体数据的特征；保存多媒体数据的特征向量和原始数据；

步骤二，获得不同媒体类型的投影矩阵，

定义最优化目标函数；利用迭代方法求解最优化目标函数；投影多媒体数据的特征向量到共同空间,

定义最优化目标函数的方法如下：

最优化目标函数包括四个组成部分，最优化目标函数的第一个组成部分：

其中，表示第i种媒体的有标签数据的特征向量构成的矩阵，其中是第i种媒体的第p个样本数据的特征向量，n⁽ⁱ⁾是第i种媒体有标签数据的数量，d⁽ⁱ⁾是第i种媒体的每个样本数据对应的特征向量的维度；是第i种媒体类型的投影矩阵；表示第i种媒体有标签数据对应的标签向量构成的矩阵，c为多媒体数据库中语义类别的数量，是第i种媒体的第p个样本数据所对应的标签向量，s是多媒体数据库中媒体类型的数量，α是一个正的常量参数，||Z||_F是矩阵Z的Frobenius范数，

最优化目标函数的第二个组成部分，该部分的第一项由不同媒体数据中相同语义类别数据之间的欧式距离组成，该部分的第二项由不同媒体数据中不同语义类别数据之间的欧式距离组成，第二个组成部分定义如下：

其中和是第i种媒体和第j种媒体中包含mij对有着相同标签数据的特征向量构成的矩阵，和是第i种媒体和第j种媒体中包含dij对有着不同标签数据的特征向量构成的矩阵，ε和μ为两个正的常量参数，用来平衡式(2)，如果将式(2)最小化，则是在最小化不同媒体数据中相同语义类别数据之间的欧式距离并且最大化不同媒体数据中不同语义类别数据之间的欧式距离，

最优化目标函数的第三个组成部分，在给出第三个组成部分之前，先构建跨媒体近邻图，对于每种媒体，分别构建它们的近邻图，并且构建近邻图的方式是一样的，对于每种媒体，用G⁽ⁱ⁾＝(V⁽ⁱ⁾,E⁽ⁱ⁾)表示第i种媒体的近邻图，V⁽ⁱ⁾表示第i种媒体近邻图中的顶点，这些顶点由在多媒体数据库中第i种媒体有标签和无标签数据通过投影获得的投影向量构成，并且一个投影向量表示一个顶点，每种媒体数据投影向量的维度是相同的，E⁽ⁱ⁾表示这些顶点的边，

计算跨媒体近邻图G⁽ⁱ⁾＝(V⁽ⁱ⁾,E⁽ⁱ⁾)对应的权重矩阵其中中的i表示第i种媒体，p表示权重矩阵W⁽ⁱ⁾的第p行，q表示权重矩阵W⁽ⁱ⁾的第q列，表示第i种媒体对应的权重矩阵W⁽ⁱ⁾的第p行、第q列上的元素值，的定义如下：

其中表示第i种媒体的第q个样本数据的特征向量的投影向量，表示的k近邻，

接着给出最优化目标函数的第三个组成部分，该部分考虑了在多媒体数据库中有标签和无标签媒体数据投影点的近邻关系，定义如下：

其中，a(i)＝n⁽ⁱ⁾+m⁽ⁱ⁾为多媒体数据库中第i种媒体有标签和无标签数据的数量，是一个图的归一化拉普拉斯矩阵，I是一个单位矩阵，D⁽ⁱ⁾是一个对角矩阵且对角线上的元素值为权重矩阵W⁽ⁱ⁾相应行上的元素值之和，为D⁽ⁱ⁾对角线上的第p个元素值，是由第i种媒体有标签和无标签数据投影后的向量组成，是由第i种媒体的有标签数据和无标签数据的特征向量组成，tr(Z)表示矩阵Z的迹，λ是一个正的常量参数，

最优化目标函数的第四个组成部分，该部分为避免过拟合的正则化项，定义如下：

其中P⁽ⁱ⁾为第i种媒体类型的投影矩阵，β为正则化项的参数，

介绍完最优化目标函数的四大组成部分，那么将这四大组成部分结合起来构成最优化目标函数，如下：

式(6)是由式(1)、(2)、(4)、(5)组合而成，求解式(6)获得每种媒体最优的投影矩阵P⁽ⁱ⁾(i＝1,2,...,s)，将公式(6)中的式子记为Ω，直接用Ω对P⁽ⁱ⁾求偏导并让其置为0，得到如下结果：

然后将式(7)的等式整理获得如下：

接着通过迭代的方法找到最优的投影矩阵P⁽ⁱ⁾(i＝1,2,...,s)；

步骤三，进行跨媒体检索，

提取用户提交的媒体数据的特征；投影该媒体数据的特征向量到共同空间中；计算该投影后的向量与共同空间中的其他向量之间的相似度；返回与之相似度最大的前k个特征向量所对应媒体数据。