[发明专利]一种基于多视角对称非负矩阵分解的跨模态信息检索方法

说明书

本发明公开了一种基于多视角对称非负矩阵分解的跨模态信息检索方法，包括多视角对称非负矩阵分解模型、求解多视角对称非负矩阵分解模型和获得新文本或图像在子空间中的表示三个步骤，通过利用Multi‑view SNMF目标函数O_bj、低维子空间表示H^*和聚类指示矩阵H⁽ⁱ⁾，针对多个模态特征信息的联合建模，通过将不同模态的数据映射到相关子空间，进而建立跨越资源形态差异的联系，以实现信息在不同模态空间中的转换和存取；相较于CCA、PLSR等多元统计方法和以SM为代表的语义匹配方法，本算法在多个指标上具有显著的有益效果，并且本方法具有更好的灵活性和普适性，易拓展到具有非线性关系的复杂应用和任务中。

技术领域

本发明属于跨媒体相关性学习技术领域，具体涉及一种基于多视角对称非负矩阵分解的跨模态信息检索方法。

背景技术

随着信息技术的快速发展，信息多元化程度日益加剧，海量、异构的信息资源与日俱增，呈现出多种模态(Modal)并存的现象，如在描述某一新闻事件时，往往会在文字周围配以相关的图片，以及音频、视频片段、文字、图片、音频或视频属于不同模态的信息，它们共同阐释了同一信息内容，这些不同表现形式的信息对传统信息检索技术提出了新的挑战.在传统信息检索任务中，文本或图像检索是在同形态空间内进行的，即“以文搜文”、“以图搜图”，然而，用户需求是多元化的，当输入一幅图片时有时会希望系统返回与其相关的文字介绍，该类检索可归结为“如何解决不同模态空间之间信息资源的相互检索”问题；

目前，基于多种形态空间的检索系统可分为两种：多模态检索(Multimodal)和跨模态检索(Cross-modal)，在多模态检索任务中，查询通常采用多个模态的形式，如文本+图片，检索集也以这两种形式的组合呈现，虽然多模态检索是在不同的模态空间中完成的，但其本质仍然是基于单模态方法的拓展，如将不同模态的表示矩阵通过拼接融合成一个“新”的表示，然后对这个表示进行降维，最后在生成的子空间中执行检索，该方法的弊端在于缺乏模态之间信息的有效交互，不能对其中任意一种模态的信息进行存取。

发明内容

为了克服上述现有技术存在的缺陷，本申请的目的在于提供一种基于多视角对称非负矩阵分解的跨模态信息检索方法，通过将不同模态的数据映射到相关子空间，进而建立跨越资源形态差异的联系，以实现信息在不同模态空间中的转换和存取，具有更好的灵活性和普适性，易拓展到具有非线性关系的复杂应用和任务中。

为了实现上述目的，本发明所采用的技术方案如下：

一种基于多视角对称非负矩阵分解的跨模态信息检索方法，具体过程包括以下步骤：

步骤一：提出多视角非负矩阵分解模型，具体来说，假设各视角间存在一致的聚类模式，给定多视角数据矩阵X⁽¹⁾∈R^f×n，X⁽²⁾∈R^p×n，利用对称非负矩阵分解(Symmetricnonnegative matrix factorization,SNMF)方法分别分解矩阵X⁽¹⁾、X⁽²⁾，得到的聚类解都趋于一致的聚类模式；由此产生多视角非负矩阵分解的目标函数O_bj；

步骤二：求解多视角对称非负矩阵分解模型(Multi-view Symmetricnonnegative matrix factorization,Multi-view SNMF)，具体来说，采用迭代更新方法对步骤一产生的目标函数进行求解，得到各视角共享的一致的低维子空间表示H^*的更新规则；

步骤三：基于多视角对称非负矩阵分解的跨模态检索方法，具体是对步骤二计算出的H^*进行分析计算，所述H^*反映了多个视角数据潜在的一致结构模式，通过H^*获得新文本或图像在子空间中的表示，在变换后的子空间中进行跨模态检索。