[发明专利]一种基于标签语义增强的鲁棒在线跨模态哈希检索方法

说明书

本发明公开了一种基于标签语义增强的鲁棒在线跨模态哈希检索方法，包括以下步骤：获取跨模态数据集，选择一定比例的原始训练数据集的标签来模拟缺失标签和错误标签用作训练标签。此外，将数据集中的训练集分为t轮数据块来模拟流数据；构建目标函数，利用被分为t轮的训练数据集来模拟流数据对目标函数进行训练，得到哈希码；根据训练数据的哈希码和训练数据不同模态的特征矩阵，得到训练数据每个模态特征映射到哈希码的投影矩阵；进行待检索样本的跨模态检索：根据投影矩阵和待检索样本不同模态的特征矩阵得到待检索样本的哈希码，计算待检索样本的哈希编码与多媒体训练数据的哈希码之间的距离，从多媒体训练数据中获取与待检索样本相似的样本。

技术领域

本发明涉及一种在线场景下针对标签噪声的跨模态检索方法，尤其涉及一种基于标签语义增强的鲁棒在线跨模态哈希检索方法。

背景技术

本部分的陈述仅仅是提到了与本公开相关的背景技术，并不必然构成现有技术。

随着数据的爆炸式增长，如何有效地检索所需的数据信息成为一个备受关注的问题。目前，许多研究工作致力于跨模态检索。跨模态检索的关键挑战是缩小模态间的异质性差距。常见的解决方案是将不同模态的数据映射到一个公共的语义空间中来学习对应的关系。此外，为了提高异构数据的检索效率，哈希通过将不同模态数据编码成紧凑的二进制哈希码，利用二进制哈希码在汉明空间中的距离来度量模态之间的相似性。这极大降低了数据的存储需求和计算成本。基于此特点，哈希在跨模态检索中得到了广泛的应用。然而，大多数跨模态哈希方法都基于批处理的，在许多现实场景中，数据通常是以流的方式不断到达。随着时间的推移，数据量变得非常大。当新数据到达时，基于批处理的方法必须对所有积累的数据进行再训练，这会带来不可接受的时间和内存成本。因此，基于批处理的哈希方法不适合处理流式数据。在线哈希旨在将不断到达的多模态数据逐步更新哈希函数，并同时将流式数据编码为紧凑的二进制代码。此外，在对新出现的流数据更新哈希函数和哈希码的同时，也保持旧流数据的二进制码的有效性。因此，在线哈希方法可以对流数据进行快速和有效地检索。现有的在线跨模态哈希方法仍存在一些局限性：(1)在现实场景中，多媒体数据的标签是通过手动或自动注释获得的，可能产生标签噪声，例如标签缺失或标签错误的情况。因此，由于缺失和错误的类分配，监督信息可能较弱。显然，在进行在线跨模态检索任务时，直接利用不完善的标签作为监督信息可能会导致检索性能下降。(2)大多数在线跨模态哈希方法在利用标签信息时，忽略了潜在的语义标签相关性。例如，一张图像里包含了天空，云朵，草地，小鸟，河水等一些标签来标注。很显然，这个实例中所有的标签之间都存在潜在的语义相关性，它们包含了额外的语义信息，如果能充分利用，这可能会提高检索性能。

发明内容

鉴于以上存在的挑战，本发明提供了一种基于标签语义增强的鲁棒在线跨模态哈希检索方法。本发明充分考虑了现实应用中数据的状态，并充分挖掘了多标签样本之间的标签语义相关性，提高了模型的鲁棒性和检索性能。

为了实现本发明的目的，本发明所述的一种基于标签语义增强的鲁棒在线跨模态哈希检索方法的具体步骤是：

Step1、获取跨模态数据集，选择一定比例的原始训练数据集的标签来模拟缺失标签和错误标签用作训练标签；此外，将数据集中的训练集分为t轮数据块来模拟流数据；其中每轮数据块包含不同模态的样本特征及其对应的语义标签；

Step2、构建目标函数学习，利用被分为t轮的训练数据集来模拟流数据对目标函数进行在线训练；当第t轮数据块到达时，保存前t-1轮数据块训练得到的哈希码不变，学习第t轮数据块的哈希码并保存，并根据第t轮数据块的实时新数据来在线更新哈希函数，得到训练数据每个模态特征映射到哈希码的投影矩阵；

Step3、进行待检索样本的跨模态检索：首先输入查询样本，根据投影矩阵和待检索样本不同模态的特征矩阵得到待检索样本的哈希码，将查询样本的哈希码代入检索集中进行查询，通过计算查询集与检索集中各样本间的汉明距离来获取查询结果。