[发明专利]基于伪标签学习和语义一致性的跨模态检索方法及系统

说明书

本发明公开了一种基于伪标签学习和语义一致性的跨模态检索方法及系统，所述方法包括：接收图像数据集和文本数据集，其中包括已标记的图像文本对以及未标记的图像数据；学习从图像空间投影到文本空间的投影矩阵，将所述未标记的图像数据投影到文本空间；计算已标记文本的类中心；根据未标记图像数据的投影数据与文本数据的类中心的相似度，为这些图像数据分配伪标签，并且将与其距离最近的类中心相应的文本数据作为对应的文本模态；将已标记的和分配伪标签的图像数据，以及对应的文本数据作为训练数据集，学习图像和文本投影到公共语义空间的投影矩阵；执行跨模态检索。本发明在训练数据集中引入未标记数据，能够获取更有效的投影矩阵。

技术领域

本公开属于跨模态检索技术领域，尤其涉及一种基于伪标签学习和语义一致性的跨模态检索方法及系统。

背景技术

随着信息技术的进步，多模态数据量不断增加。多模态数据无处不在，人类使用互联网共享个人文本、音频、图像和视频信息。多模态数据是指用不同的模态描述同一对象/概念的数据。特定对象/概念的多模态数据的不同成分存在于不同的模态中，但是在高语义级别上相关联。多模态数据广泛存在于日常生活中，因此对多模态数据的检测和分析是一个重要的研究领域。多模态数据检索方法不同于传统的数据检索方法从同一模态数据中挖掘信息。在跨模态检索中，一个模态中的对象可以用于其他模态中的数据检索。例如，当考虑“飞机”的图像时，可以检索“飞机”的文本、图像、音频记录和视频记录。根据人们的需求，可以实现不同媒体文件之间的检索。

一种好的跨模态检索方法可以显著缩短检索时间，减少工作量，有效地提高信息检索的查准率和查全率。检索的输入和输出数据具有不同的模态，这些数据的低层特征是异构的，且各自的数据结构是复杂的并且变化很大，诸如图像、音频记录和视频记录之类的多模态数据是半结构化的或非结构化的，这使得很难通过低级特征来描述高级语义。另外，由于不同模态数据特征值的维数也不一样，因此很难用现有的方法比较不同模态下的数据。因此在多模态数据上进行检索时，需要设定异构数据的统一表示。也就是说，当将多模态数据投影到同构空间上时，可以使用相同的距离度量(例如，使用欧几里德度量或汉明度量)对其进行比较。近年来在跨模态检索方向有了大量的研究成果。有研究引入了共享子空间的概念，允许不同模态数据在同一子空间中一致地表示以便相互检索。典型相关性分析(CCA)是一种经典的统一表示法，在计算生物学、金融分析和信息检索等领域有着广泛的应用。众多的方法用来在一个共同的子空间中最大化训练数据对之间的相似性。核典型相关分析(KCCA)用于研究图像与文本之间的相关性。基于局部相关性保持的支持向量机(LCPSVM)提出了一种保持类间局部相关性的方法，它充分结合了类间边际最大化和类数据的局部相关保持的思想。以上方法通常是获得一组线性映射矩阵，并将具有异构特征的数据投影到相同的语义空间。

然而，仅仅考虑训练集中的数据点之间的相关性是不够的。在跨模态检索中，期望检索到的数据在语义上类似于查询的图像/文本数据。因此，在语义上相似的多模态数据会被预期在共享子空间中形成簇。为此，使用监督类信息或通过聚类获得的监督信息，在公共子空间中对语义上相似的多模态数据进行聚类。

联合表示学习(JRL)方法同时考虑语义信息和相关性，是半监督学习方式；具有联合图正则化的异构度量学习(JGRHML)则使用联合图正则化来检索不同模态之间的信息；跨模态相关传播(CMCP)在检索中同时使用正相关和负相关信息；最近邻异构相似性度量(HSNN)是一种利用最近邻度量异构相似性的方法。

上述描述的各种方法，或者没有考虑未标记数据，或者对每个文本/图像检索任务只学习一组投影，文本检索图像和图像检索文本都基于同一种投影机制，基于这种映射机制往往可以在两个检索任务中获得一个折中的性能，很难在其中一种任务中得到最佳性能。

发明内容