[发明专利]基于中级文本语义增强空间的模态独立检索方法和系统

权利要求书

1.一种基于中级文本语义增强空间的模态独立检索方法，其特征在于，包括以下步骤：

获取成对的文本和图像底层特征，构建训练数据集和测试数据集；

根据线性判别分析建立中级文本语义增强空间；计算图像文本对的相似度矩阵；

根据所述中级文本语义增强空间和相似度矩阵分别构建图像检索文本和文本检索图像的投影矩阵模型；

采用训练数据集分别求解图像检索文本和文本检索图像的投影矩阵模型中的投影矩阵参数；

基于图像检索文本/文本检索图像的投影矩阵参数，采用测试数据集执行图像检索文本/文本检索图像；

所述计算图像文本对的相似度矩阵包括：

根据语义标签计算图像文本对的相似度矩阵S＝{s_ij}_2n×2n；

定义S_TT和S_II为单媒体相似矩阵，均为零矩阵，S_TI和S_IT为跨媒体相似矩阵；

定义对角矩阵D＝Diag(d_1,1,d_2,2,...,d_2n,2n)，

将S＝{s_ij}_2n×2n表示为其中，S_II＝S_TT，S＝S^T，并进行归一化；最终相似度矩阵和L_II＝L_TT；

所述图像检索文本投影矩阵模型为：

其中，V₁∈R^k×c为图像的投影矩阵，W₁∈R^k×c为文本的投影矩阵；

所述文本检索图像投影矩阵模型为：

其中V₂∈R^k×c为图像的投影矩阵，W₂∈R^k×c为文本的投影矩阵；

T为文本的底层特征矩阵，I为图像的底层特征矩阵，Y是标记矩阵，α，β和λ为平衡参数，U_w为类内散度矩阵，U_t为总体散度矩阵，tr(·)表示矩阵的迹。

2.如权利要求1所述的一种基于中级文本语义增强空间的模态独立检索方法，其特征在于，所述中级文本语义空间的建立方法包括：

根据每个类文本特征和所有文本特征的均值，计算文本特征的类内散度矩阵和类间散度矩阵；

将所述类内散度矩阵和类间散度矩阵代入线性判别分析公式，得到线性判别分析的目标函数。

3.如权利要求1所述的一种基于中级文本语义增强空间的模态独立检索方法，其特征在于，定义s_ij是文本和图像的相似性矩阵，定义y_i为第i个文本图像对对应的标签矩阵向量，y_j为第j个文本图像对对应的标签矩阵向量，s_ij可以表示为：

4.如权利要求1所述的一种基于中级文本语义增强空间的模态独立检索方法，其特征在于，所述投影矩阵模型包括：

用于保持图像文本对的关联关系的媒体相关项，采用相似度矩阵；

用于提升文本特征判别性的正则化项，采用线性判别分析的目标函数；

用于针对不同的检索任务学习投影矩阵的线性投影项；

用于控制投影矩阵的复杂度的正则化项。

5.如权利要求1所述的一种基于中级文本语义增强空间的模态独立检索方法，其特征在于，所述求解图像检索文本投影矩阵模型或文本检索图像投影矩阵模型包括：固定文本投影矩阵求解图像投影矩阵；固定图像投影矩阵求解文本投影矩阵。

6.一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-5任一项所述的基于中级文本语义增强空间的模态独立检索方法。

7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-5任一项所述的基于中级文本语义增强空间的模态独立检索方法。