[发明专利]一种用于图像-文本的跨模态检索方法

说明书

本发明公开了一种用于图像‑文本的跨模态检索方法，包括获取图文对数据集并构建跨模态图文检索初始模型；处理图文对数据集得到特征向量；获取特征向量在公共空间内的统一维度特征向量，进行标签分类并计算标签分类损失；对图文对数据集进行基于多负样本的加权采样并计算多负样本加权对比损失；通过优化器对跨模态图文检索初始模型进行优化得到跨模态图文检索模型；采用跨模态图文检索模型进行实际的图像‑文本的跨模态检索。本发明预先构建跨模态图文检索模型，将图像/文本特征向量投射到统一公共空间，引入多负样本采样和加权学习进行模型训练，并利用训练好的模型进行跨模态检索；因此本发明方法的检索准确度高、可靠性好且检索速度快。

技术领域

本发明属于计算机技术领域，具体涉及一种用于图像-文本的跨模态检索方法。

背景技术

随着经济技术的发展，搜索技术已经广泛应用于人们的生产和生活当中，给人们的生产和生活带来了无尽的便利。

互联网上随时随地有大量的数据产生，包括文本、图像、视频、音频等在内的多媒体信息。这些信息内容丰富、形式多样，导致如何从海量数据中获取到真正需求的信息成为亟待解决的事情。与此同时，多媒体数据的大规模增长急需更为有效的技术，以实现对多媒体数据的有效检索。传统的检索只停留在单个模态，即输入文本则检索文本，输入图像则检索图像。在面向大数据时代的今天，传统的单模态检索已经不能满足人们对于信息检索方面的新需求。

跨模态检索是指查询数据和检索结果来自不同的模态，例如找到最匹配文本的商品图像，或是给一张图像找到最适合的文本描述。跨模块检索脱离了传统单模态检索的局限性，对不同的模态实现跨越检索，其实际应用性非常强。因此跨模态信息检索有着广泛的应用前景和重要的研究意义。

现有的跨模态检索技术的核心是利用线性投影或者深度学习技术学习一个公共子空间，使不同模态的数据能够在这个公共子空间内进行语义相似性的度量学习，再通过排序返回与查询数据相近的检索结果。Nikhil等人使用典型相关分析提出图像-文本检索方法，通过线性变换得到子空间内的特征投影向量，然后最大化两种模态间的相关性。Ding等人提出了协同矩阵分解来实现跨模态检索方法，通过协同矩阵分解将不同模态数据的共同语义找到，然后投射到公共空间内。这些方法对特征投影采取了多种方式，然而其采样方式都很单一，都是基于少样本采样并进行损失度量，优化梯度欠缺灵活性。

发明内容

本发明的目的在于提供一种检索准确度高、可靠性好且检索速度快的用于图像-文本的跨模态检索方法。

本发明提供的这种用于图像-文本的跨模态检索方法，包括如下步骤：

S1.获取图文对数据集，并构建跨模态图文检索初始模型；

S2.对步骤S1获取的图文对数据集进行处理，得到特征向量；

S3.将步骤S2得到的特征向量通过投影函数，获取在公共空间内的统一维度特征向量，进行标签分类并计算标签分类损失；

S4.对图文对数据集进行基于多负样本的加权采样，并计算多负样本加权对比损失；

S5.根据步骤S3得到的标签分类损失和步骤S4得到的多负样本加权对比损失，通过优化器对构建的跨模态图文检索初始模型进行优化，得到跨模态图文检索模型；

S6.采用步骤S5得到的跨模态图文检索模型，进行实际的图像-文本的跨模态检索。

步骤S1所述的获取图文对数据集，并构建跨模态图文检索初始模型，具体包括如下步骤：

A.获取图文对数据集：图文对数据集包括图像数据集和文本数据集；

B.构建的跨模态图文检索初始模型包括：将图像数据集通过卷积神经网络提取图像特征向量集；将文本数据集通过词袋模型提取文本特征向量集；然后通过投影函数将图像特征向量集和文本特征向量集投影到公共空间；最后在公共空间内进行相似性度量和标签分类。