[发明专利]在线多模态哈希检索方法、系统、存储介质及设备

说明书

本发明涉及在线多模态哈希检索方法、系统、存储介质及设备，包括以下步骤：获取流式多媒体数据集，将流式多媒体数据集中的训练数据分为t批数据块；当第t批数据到达时，保持前t‑1批数据训练得到的哈希码不变，学习第t批数据的哈希码，并对第t轮的哈希函数进行更新；保存学习到的哈希码与前t‑1批训练数据的哈希码，保存更新后的哈希函数，利用学习到的哈希函数为查询样本生成哈希码表示，获得检索结果。能够处理随流式多媒体数据到达产生的类增量问题，提升检索效率。

技术领域

本发明涉及信息检索技术领域，具体为在线多模态哈希检索方法、系统、存储介质及设备。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

互联网中存在大量的多媒体信息，例如，图像、文本以及视频等，用户对不同类型数据的检索需求与日俱增。基于哈希的检索方法作为一种近似最近邻的检索方法，由于其对大规模数据具有检索效率高、存储成本低等优点，已被广泛应用于多媒体信息的检索任务。

多媒体信息中的不同类型(图像和文本等)被认为是多个异构的模态，根据检索的数据类型，现有的哈希检索方法可大致划分为三类：单模态哈希检索、跨模态哈希检索和多模态哈希检索。单模态哈希检索采用来自同一种模态的查询样本来搜索同一模态中的类似样本数据，例如，使用文本作为查询样本来检索类似的文本；跨模态哈希支持跨模态检索任务，例如，使用文本作为查询样本来检索类似的图像；而多模态哈希检索中，查询和要检索的信息可能包含不止一个模态。

多模态哈希检索是对带有多个模态表示的查询样本进行检索，通过将每个样本点中不同模态的数据从原始特征空间由对应模态的哈希函数映射到一个公共哈希码空间，由此生成哈希码表示，再将查询样本的哈希码与训练数据集的样本的哈希码分别求海明距离来度量两个样本间的相似度，海明距离越小则代表两样本点间的相似度越高，由此来完成检索的过程。

当多媒体数据点以流的形式不断到达时，必须存储(积累)所有的旧数据，并在新数据出现时，基于新旧数据重新训练哈希函数，使得基于批处理的哈希检索方法不仅计算复杂度高、占用内存大，并且查询(检索)效率低下。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供在线多模态哈希检索方法、系统、存储介质及设备，能有效解决在线多模态设置中随着多媒体数据以数据流形式到达时产生的类别增量问题。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供在线多模态哈希检索方法，包括以下步骤：

获取流式多媒体数据集，将流式多媒体数据集中的训练数据分为t批数据块；

当第t批数据到达时，保持前t-1批数据训练得到的哈希码不变，学习第t批数据的哈希码，并对第t轮的哈希函数进行更新；

保存学习到的哈希码与前t-1批训练数据的哈希码，保存更新后的哈希函数，利用学习到的哈希函数为查询样本生成哈希码表示，获得检索结果。

利用学习到的哈希函数为查询样本生成哈希码表示，获得检索结果，包括，获得查询样本的哈希码与存储的所有训练数据的哈希码间的海明距离，对海明距离按照由小到大的顺序进行排序，按顺序输出训练集中的样本作为检索结果。

学习第t批数据的哈希码的过程包括，基于损失函数利用类别级哈希码重构语义向量；优化损失函数，逐行更新类别级哈希码矩阵。学习第t批数据的哈希码的过程还包括，对于类别增量情况下的类别级哈希码的学习，将新类别的类别级哈希码与旧类别的类别级哈希码共同保存形成当前总的类别级哈希码。

学习第t批数据的哈希码的过程还包括，利用更新后的类别级哈希码矩阵生成第t批数据的哈希码。