[发明专利]一种基于离散在线哈希学习的跨模态检索方法及系统

说明书

本发明提出了一种基于离散在线哈希学习的跨模态检索方法及系统，包括：获取模拟流数据；基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希编码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。本发明从不同的模态中学习统一的哈希码，可以让哈希码融合多种模态的信息。

技术领域

本发明属于跨媒体检索领域，尤其涉及一种基于离散在线哈希学习的跨模态检索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着网络上多媒体内容的流行，来自各种搜索引擎和社交媒体的多媒体数据爆炸性增长。一般来说，互联网中用户生成的海量多媒体数据是不断增量生成的，即是以数据流的方式动态出现的。而随着用户对跨模态检索的需求越来越大，传统的跨模态哈希检索方法耗时且计算成本巨大，难以满足要求，因此在线跨模式哈希方法近年来引起了广泛的兴趣。本文基于潜在因素模型，提出了一种新的离散监督跨模态在线哈希方法，即离散在线跨模态哈希(Discrete Latent Factor model-based cross-modal Hashing)，简称DOCH。

跨模态检索的目标是通过使用来自一种模态(如文本)的查询，从另一种模态(如图像)中搜索语义上相似的实例。跨模态哈希方法使用通过学习得到的哈希函数将高维多媒体数据转换为低位汉明空间中紧凑的二进制码，同时让二进制码保持数据间的相似信息。通过这种变换，可以达到降维的目的，也可以有效缩减空间消耗，但大多数现有的跨模态哈希方法都是基于批处理的，当新数据到达时，它会对所有积累的数据重新训练哈希函数，越来越大的数据集使得所有的训练数据同时加载到内存中显得不切实际，并使得计算成本不可接受。因此，几种支持对流数据的有效搜索的在线跨模态哈希方法被提出，该方法基于新出现的数据更新哈希函数，同时保持了对过去流数据的二进制码的有效性。

哈希码的学习策略大致可以分为三类：离散策略、基于松弛的策略和辅助变量策略。离散策略尝试直接学习具有二进制约束的哈希码，松弛策略或辅助变量策略主要首先得到松弛连续解，然后将其量化为二进制哈希码。基于松弛的策略和辅助变量策略将哈希码从汉明空间放松到实值空间，以避免复杂的优化，这两种策略可能会导致离散值与实值之间的较大的量化误差，从而导致信息丢失和性能下降。它们保留了新来的数据和之前在潜在空间(实值空间)中积累的数据之间的相似性，与直接在汉明空间中测量相似度的方法相比，这是不够直接和有效的。

发明内容

为克服上述现有技术的不足，本发明提供了一种基于离散在线哈希学习的跨模态检索方法，本发明能够获得更好的性能。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

第一方面，公开了一种基于离散在线哈希学习的跨模态检索方法，包括：

获取模拟流数据；

基于所述模拟流数据，离散地更新最新轮的第二数据块的哈希编码，保持最新轮之前轮的第一数据块的哈希编码不变，实现从不同的模态中学习统一的哈希码；

根据最新轮的第二数据块的哈希码，分别求取每个模态将特征映射到哈希码的投影矩阵，即哈希函数，进行哈希函数学习，更新每个模态的哈希函数来处理学习后的哈希编码；

基于更新后的哈希函数计算模拟流数据中样本间的海明距离，根据海明距离来返回与待查询样本距离近的所需的另一个模态的检索样本。