[发明专利]一种基于子空间学习的不完整跨模态检索方法

摘要

本发明公开一种基于子空间学习的不完整跨模态检索方法，该方法通过收集多模态数据并提取特征；构造不完整观测的多模态数据集合；基于回归方式学习不完整观测多模态数据集共享子空间表达；对不同模态数据集进行特征学习以选择出具有较强判别能力的特征；挖掘不完整观测模态间和模态内相似性关系，建立优化目标函数；优化目标函数得到多模态数据共享子空间表达及基于回归方式的投影矩阵；根据投影矩阵进行跨模态检索。本发明解决了模态间特征异质的问题,同时可充分利用具有完整模态和不完整模态的数据，增强了跨模态检索性能。

主权项

1.一种基于子空间学习的不完整跨模态检索方法，其特征在于，包括步骤：步骤S1，收集多模态数据并分别提取各模态的特征；步骤S2，利用提取的各模态的特征构造不完整观测多模态数据集；步骤S3，基于回归方式学习不完整观测多模态数据集共享子空间表达，并分别学习各模态数据线性投影矩阵；首先为每一模态学习一个线性投影矩阵，并使得具有完整模态表达的数据点的不同模态特征具有相同的子空间表达；然后将具有不完整模态表达的数据点投影到所述子空间，得到所有数据点的子空间表达；步骤S4，通过各模态数据线性投影矩阵增加结构约束，学习不同模态数据集的特征，选出判别能力符合判别要求的特征；步骤S5，挖掘不完整观测多模态集中的各模态间和模态内相似性关系，结合子空间学习和特征学习建立优化目标函数；s.t.F∈{0,1}n×k；FIk＝In其中，α和β为预设的正整数，用于决定最终的优化目标函数中不同项的权值大小，为第一个模态的特征表达，为第一个模态的具有完整模态特征的数据在当前模态下的特征表达，为第一个模态的仅有当前模态特征的数据的特征表达，F_c和分别是第一个模态的具有完整模态特征的数据的子空间表达和第一个模态的仅有当前模态特征的数据的子空间表达，第一个模态的子空间表达c表示具有完整模态数据点对应的数据，n和k别表示多模态数据库样本总数目以及类别数目，和分别表示第二模态的特征表达及第二个模态的子空间表达，不完整观测多模态数据集的共享子空间表达U¹和U²分别为第一模态与第二模态这两个模态的线性投影矩阵，Uⁱ，U^j分别为第i、j个模态的线性投影矩阵；分别是第i、j个模态的特征表达，I_k和I_n分别为k维和n维的由1组成的列向量,L_ij为i、j模态计算得到的拉普拉斯矩阵，Tr为矩阵的迹操作，(Uⁱ)^T表示矩阵Uⁱ的转置操作，||U¹||₂₁、||U²||₂₁分别为矩阵U¹，U²的l₂₁范数；步骤S6，优化所述目标函数得到多模态数据集共享子空间表达以及各模态的线性投影矩阵；步骤S7，根据所述各模态的线性投影矩阵进行跨模态检索；所述不完整观测多模态数据集中有部分数据包含完整的多模态特征表达，其它部分数据包含部分多模态特征。