[发明专利]多标签核化典型相关分析检索方法

摘要

本发明属于计算机检索技术领域，具体涉及一种多标签核化典型相关分析检索方法。主要步骤为：(S1)选择文本和视觉图像，构建文本、视觉图像和标签的配对数据，并选择配对数据的样本；(S2)计算标签的语义相似性矩阵；(S3)将语义相似性矩阵应用于核化典型相关分析来求取多模态共享子空间；(S4)分别求取视觉图像与文本在多模态共享子空间投影表示；(S5)进行检索，获取跨模态子空间的检索结果。本发明通过对多媒体文档中多标签形式的高层语义信息加以利用同时应用KCCA来挖掘不同模态之间非线性的相关关系，学习到了更适合于跨模态检索任务的不同模态的更具有区分性的公共子空间，得到了很好的检索效果。

主权项

1.一种多标签核化典型相关分析检索方法，其特征在于，包括以下步骤：(S1)选择文本和视觉图像，构建文本、视觉图像和标签的配对数据，并选择配对数据的样本；配对数据的样本表示为{(t₁,p₁,z₁),...,(t_i,p_i,z_i),...,(t_N,p_N,z_N)}，其中z_i是配对数据的第i个样本的标签向量，T_w＝[t₁,t₂,...,t_N]∈R^dt×N，T_w是文本样本的矩阵表示，dt是文本样本的维度，P＝[p₁,p₂,...,p_N]∈R^dp×N，P是视觉图像样本的矩阵表示，dp表示视觉图像样本的维度；Z＝[z₁,z₂,...,z_N]∈R^C×N，其中Z表示标签矩阵，C为标签的维度，N为配对数据的样本数；(S2)计算标签的语义相似性矩阵；设f(g)为计算任意两个标签向量之间相似性的函数，则语义相似性矩阵S：(S3)将语义相似性矩阵应用于核化典型相关分析来求取多模态共享子空间；为获取学习共同的多模态共享子空间，将ml‑KCCA公式化为：其中，ρ为相关系数，K_t和K_p分别表示N对样本的N×N核矩阵，η用于控制语义相似性矩阵的影响系数，α,β表示投影向量；根据和将求解α,β过程转化为求解特征值问题如下：B^‑1Aw＝λw    (4)其中，λ为特征值，w＝[α β]^T，根据值最大的D个特征值，求出对应的一系列的向量(α¹,β¹),...,(α^D,β^D)；根据(α¹,β¹),...,(α^D,β^D)，将新的文本输入t_x投影到α指定的单个文本输入上：其中α_i表示向量α的第i个元素，t_i代表N个样本数据中的第i个样本，φ_t表示数据空间到特征空间的映射函数，k_t表示特征空间的核函数；(S4)分别求取视觉图像与文本在多模态共享子空间的投影表示；新的文本t_x到D维公共子空间的最终投影M为：新视觉图像p_x到D维公共子空间的最终投影Q为：(S5)进行检索，获取跨模态子空间的检索结果，具体为：进行图像检索文本时，则通过将新视觉图像通过Q映射到子空间，进而进行相似性检索；进行文本检索视觉图像时，则将文本通过M映射到子空间，进而进行相似性检索。