[发明专利]基于中级文本语义增强空间的模态独立检索方法和系统

摘要

本发明公开了一种基于中级文本语义增强空间的模态独立检索方法和系统，所述方法包括：获取成对的文本和图像底层特征，构建训练数据集和测试数据集；根据线性判别分析建立中级文本语义增强空间；计算图像文本对的相似度矩阵；根据所述中级文本语义增强空间和相似度矩阵分别构建图像检索文本和文本检索图像的投影矩阵模型；采用训练数据集分别求解图像检索文本和文本检索图像的投影矩阵模型中的投影矩阵参数；基于图像检索文本/文本检索图像的投影矩阵参数，采用测试数据集执行图像检索文本/文本检索图像。所述方法为图像检索文本和文本检索图像的检索任务分别学习映射矩阵，检索更有针对性，大大提高了检索的准确率。

主权项

1.一种基于中级文本语义增强空间的模态独立检索方法，其特征在于，包括以下步骤：获取成对的文本和图像底层特征，构建训练数据集和测试数据集；根据线性判别分析建立中级文本语义增强空间；计算图像文本对的相似度矩阵；根据所述中级文本语义增强空间和相似度矩阵分别构建图像检索文本和文本检索图像的投影矩阵模型；采用训练数据集分别求解图像检索文本和文本检索图像的投影矩阵模型中的投影矩阵参数；基于图像检索文本/文本检索图像的投影矩阵参数，采用测试数据集执行图像检索文本/文本检索图像；所述计算图像文本对的相似度矩阵包括：根据语义标签计算图像文本对的相似度矩阵S＝{s_ij}_2n×2n；定义S_TT和S_II为单媒体相似矩阵，均为零矩阵，S_TI和S_IT为跨媒体相似矩阵；定义对角矩阵D＝Diag(d_1,1,d_2,2,...,d_2n,2n)，将S＝{s_ij}_2n×2n表示为其中，S_II＝S_TT，S＝S^T，并进行归一化；最终相似度矩阵和L_II＝L_TT；所述图像检索文本投影矩阵模型为：其中，V₁∈R^k×c为图像的投影矩阵，W₁∈R^k×c为文本的投影矩阵；所述文本检索图像投影矩阵模型为：其中V₂∈R^k×c为图像的投影矩阵，W₂∈R^k×c为文本的投影矩阵；T为文本的底层特征矩阵，I为图像的底层特征矩阵，Y是标记矩阵，α，β和λ为平衡参数，U_w为类内散度矩阵，U_t为总体散度矩阵，tr(·)表示矩阵的迹。