[发明专利]面向携带新类别的增量数据的快速跨模态检索方法及系统

说明书

本发明提出了面向携带新类别的增量数据的快速跨模态检索方法及系统，包括：增量哈希学习步骤：从多媒体已知类别数据库存储的已知哈希码中提取已知类别标签的二值表示，然后根据已有类别标签与未知类别标签的相似性关系，获取未知类别标签的二值表示，用来监督增量类别数据库中增量数据的哈希码的生成；哈希函数学习步骤：在哈希函数的学习过程中，从已知类别数据库及增量类别数据库中通过抽样获取锚点集，基于该锚点集采用非对称策略更新深度网络的参数，进行哈希函数的学习，获得所需模型。可以在保持原有数据的哈希码不变的情况下直接学习未知增量类数据的哈希码，从而可以满足快速训练的模式要求。

技术领域

本发明属于跨模态检索、深度学习技术领域，尤其涉及面向携带新类别的增量数据的快速跨模态检索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着互联网的发展，由各种智能终端设备和网站产生的图像、文本、视频、音频等多媒体数据呈现爆炸式增长趋势。面对这些丰富的海量多媒体数据，如何在庞大的数据库中根据用户需求在多模态数据之间进行快速准确的检索，是多媒体信息检索研究的热点。因此，跨模态检索应运而生，其主要目的是使用一种模态的查询数据去检索数据库中与之相似的另一种模态的数据，例如可以使用图片检索文本信息。其中，基于哈希的跨模态检索方法凭借其较小的存储消耗和快速的查询速度可以解决大规模数据检索所面临的问题，它可以将原始空间中的海量高维多媒体数据映射为海明空间中紧凑的二进制哈希码，同时保持数据之间的相似性，即原始空间中相似的样本在海明空间中依然相似。使用二值哈希码表示高维数据不仅有益于压缩存储空间，还可以便于计算机通过简单的异或操作来计算得到两个样本之间的距离，提高检索效率。

通常来说，跨模态哈希方法根据是否使用监督信息可以分为无监督跨模态哈希和有监督跨模态哈希。无监督跨模态哈希方法不使用监督信息，只利用原始数据的结构信息来训练模型；而有监督跨模态哈希方法则通过挖掘人工标注的标签中的语义信息来构建数据之间的相似性，从而具有更好的表现力。此外，随着深度网络的应用和发展，基于深度学习的跨模态哈希方法相继被提出。相较于将特征提取与哈希学习分离的非深度跨模态哈希来说，基于深度网络的跨模态哈希方法利用强大的神经网络将特征学习和非线性哈希函数学习融合到一个端到端的框架中，可以进一步提高模型的性能。

但是，现有的深度跨模态哈希方法不能很好的解决增量学习的问题。也就是说大多数深度跨模态哈希方法不能及时适配新出现的未知类别标签的增量数据，需要将其与原有数据同时喂入网络重新训练模型。这种模式存在以下缺点：首先，将所有数据重新训练意味着完全忽略通过之前训练得到的原有数据的哈希码，浪费了计算资源和训练时间；此外，随着越来越多的未知类别标签的增量数据的产生，将原有数据和增量数据同时喂入网络会提高模型的计算复杂性，违背了大规模多媒体数据下快速精确检索的需求；并且当前存在的增量哈希学习方法不能处理跨模态检索问题。

发明内容

为克服上述现有技术的不足，本发明提供了面向携带新类别的增量数据的快速跨模态检索方法，充分利用已有数据的哈希码，避免重复学习导致的训练时间和计算资源的浪费。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

第一方面，公开了面向携带新类别的增量数据的快速跨模态检索方法，包括：

增量哈希学习步骤：从多媒体已知类别数据库存储的已知哈希码中提取已知类别标签的二值表示，然后根据已有类别标签与未知类别标签的相似性关系，获取未知类别标签的二值表示，用来监督增量类别数据库中增量数据的哈希码的生成；

哈希函数学习步骤：在哈希函数的学习过程中，从已知类别数据库及增量类别数据库中通过抽样获取锚点集，基于该锚点集采用非对称策略更新深度网络的参数，进行哈希函数的学习，获得所需模型；