[发明专利]一种用于数据处理的跨模态检索方法及系统

说明书

本发明实施例公开了一种用于数据处理的跨模态检索方法，涉及图文数据处理领域，能够在具有较强的跨模态相似性的同时，还减少信息损失。本发明包括：将待处理的样本数据，输入模态特定的预处理模块并进行特征提取，并得到特征向量信息。将所得到的特征向量信息，通过模态特定的子网络映射到公共子空间。将所述公共子空间中的公共表示，通过第一网络映射语义子空间。将所述公共子空间中的公共表示，通过第二网络构建模态判别器，利用所构建的模态判别器区分每个公共表示的原始模态。本发明适用于图文领域之间的相互检索。

技术领域

本发明涉及图文数据处理领域，尤其涉及一种用于数据处理的跨模态检索方法及系统。

背景技术

跨模态检索是指以一种类型的数据作为查询，检索另一种类型的相关数据。其跨不同的模态(如图像和文本)进行检索的灵活性一直受到学术界和工业界的广泛关注。计算多模态数据之间的相关性是跨模态检索的核心目标。然而，模态间潜在的异构性导致了不可比性，因此实现跨模态检索的关键在于如何跨越不同模态之间的异构鸿沟。

一种消除跨模态差异的常用方法是表征学习，通过学习一种模态特定的转换函数，将不同模态的数据转换到一个公共子空间，在该子空间中可以直接进行相似性度量。然而，现有方案在学习转换的过程中，通常只关注数据集中的一部分信息，在目标函数的设计上存在不同程度的信息损失，从而限制了模型性能。

因此，如何在具有较强的跨模态相似性，同时还减少信息损失，成为了需要研究的课题。

发明内容

本发明的实施例提供一种用于数据处理的跨模态检索方法及系统，能够在具有较强的跨模态相似性的同时，还减少信息损失。

为达到上述目的，本发明的实施例采用如下技术方案：

一方面，提供一种用于数据处理的跨模态检索方法，包括：

将未处理过的图像和文本作为输入样本对输入到各自模态特定的预处理模块中进行特征提取，分别得到原始的高维度的图像特征向量和文本特征向量。

将得到的两种模态的原始特征向量经过各自模态特定的子网络非线性的映射到一个公共子空间，基于公共子空间提出一种跨模态信息聚合约束，其在同时考虑绝对距离和相对距离的前提下聚合数据集中全局信息和细粒度信息。

将公共子空间中的公共表示进一步通过第一网络映射到一个语义子空间，基于语义子空间中的向量表示和样本标签之间的潜在关联提出一种语义约束。

将公共子空间中的公共表示进一步通过第二网络来构建一个模态判别器，基于模态判别器提出了一个模态约束以区分每个公共表示的原始模态，其与跨模态信息聚合约束的优化目标相反，两者依靠模态特征信息相互对抗为模型引入对抗学习。

另一方面，提供一种用于数据处理的跨模态检索系统，包括：

预处理模块，用于将待处理的样本数据，输入模态特定的预处理模块并进行特征提取，并得到特征向量信息，其中，所述待处理的样本数据包括由图像数据和文本数据组成的样本对，所得到的特征向量信息包括：图像特征向量和文本特征向量；

处理模块，用于将所得到的特征向量信息，通过模态特定的子网络映射到公共子空间，其中，基于所述公共子空间对应得到跨模态信息聚合约束；将所述公共子空间中的公共表示，通过第一网络映射语义子空间，其中，语义子空间中的向量表示和样本标签之间建立潜在关联，并且所述潜在关联对应语义约束；将所述公共子空间中的公共表示，通过第二网络构建模态判别器，利用所构建的模态判别器区分每个公共表示的原始模态；并将区分每个公共表示的原始模态的结果存储至数据库模块；

数据库模块，用于存储所述处理模块的输出的模态结果；