[发明专利]一种融合监督信息的跨模态哈希检索方法和系统

说明书

本发明公开了一种融合监督信息的跨模态哈希检索方法和系统，所述方法包括：构建图像网络，文本网络和融合网络；获取图像和文本特征训练样本对，分别输入图像网络和文本网络；将图像网络和文本网络的输出特征作为所述融合网络的输入，并定义所述融合网络的输出；根据所述融合网络的输出和对间相似性构建学习统一哈希码的目标函数；求解所述目标函数，得到统一哈希码；将所述统一哈希码作为监督信息，结合语义信息，训练特定模态的哈希网络。本发明基于端到端的深度学习框架同时地学习特征表示和哈希编码，能够更有效地捕获不同模态数据之间的相关性，有助于跨模态检索精度的提高。

技术领域

本公开涉及跨模态检索方法，更具体地说，涉及一种融合监督信息的跨模态哈希检索方法和系统。

背景技术

近些年，随着网络上不同类型数据的急剧增长，近似最近邻(ANN)搜索在相关应用中起着越来越重要的作用。例如，信息检索、数据挖掘、计算机视觉等。哈希技术由于其计算成本低和存储效率高，已经成为ANN搜索中最受欢迎的技术之一。哈希的基本思想是通过学习哈希函数将高维的数据映射到紧凑二进制编码的汉明空间，同时尽可能保留原始空间的相似性结构。目前很多应用于单模态场景中的哈希方法已经被提出，然而在现实世界中具有相同语义的数据往往存在多种模态，例如，图像、文本、视频等。为了充分利用异构数据之间的关系，在ANN搜索中发展跨模态哈希(CMH)方法是很有必要的。具体地，在跨模态相似性搜索中，查询数据的模态与被检索数据的模态不同。本公开以图像检文本(I2T)和文本检图像(T2I)任务为例进行分析和实验，同时此方法可以扩展到其他任意模态之间的检索。

现有的跨模态哈希(CMH)方法大多数是基于手动处理的特征，其特征提取和哈希码学习过程是独立进行的。这就可能会限制样本的判别表示，进而损坏学习的哈希码的准确性。最近，基于深度学习的哈希方法提出了一种端到端的学习框架同时学习特征表示和哈希编码，其能够比浅层学习方法更有效地捕获不同模态之间的非线性相关性。作为经典的方法，深度跨模态哈希(DCMH)将传统的深度模型扩展到跨模态检索中，并对每一种模态执行具有深度神经网络的端到端的学习框架。对间关系引导的深度哈希(PRDH)进一步整合多种对间约束，从模态间和模态内增强哈希码的相似性。

在上述提及的深度跨模态哈希框架中，对于来自两个不同模态的成对样本，它们的哈希码通常被强制设置成一样的。并且，这些方法通过每种模态的深度神经网络分别学习单一样本的特征表示，然后最小化不同模态特征之间的损失来建立异构的关系。这样就存在以下弊端：仅通过简单地对不同模态的神经网络的最后一层施加约束，不能够充分挖掘多模态数据间的复杂关系。

发明内容

为克服上述现有技术的不足，本公开提供了一种融合监督信息的跨模态哈希检索方法和系统，所述方法基于端到端的深度学习框架同时地学习特征表示和哈希编码，能够比传统学习方法更有效地捕获不同模态数据之间的相关性，有助于跨模态检索精度的提高。

为实现上述目的，本公开的一个或多个实施例提供了如下技术方案：

一种融合监督信息的跨模态哈希检索方法，包括以下步骤：

构建图像网络，文本网络和融合网络；

获取图像和文本特征训练样本对，分别输入图像网络和文本网络；

将图像网络和文本网络的输出特征作为所述融合网络的输入，并定义所述融合网络的输出；

根据所述融合网络的输出和对间相似性构建学习统一哈希码的目标函数；

求解所述目标函数，得到统一哈希码；

将所述统一哈希码作为监督信息，结合语义信息，训练特定模态的哈希网络。