[发明专利]一种用于图像-文本的跨模态检索方法

权利要求书

1.一种用于图像-文本的跨模态检索方法，包括如下步骤：

S1.获取图文对数据集，并构建跨模态图文检索初始模型；

S2.对步骤S1获取的图文对数据集进行处理，得到特征向量；

S3.将步骤S2得到的特征向量通过投影函数，获取在公共空间内的统一维度特征向量，进行标签分类并计算标签分类损失；

S4.对图文对数据集进行基于多负样本的加权采样，并计算多负样本加权对比损失；

S5.根据步骤S3得到的标签分类损失和步骤S4得到的多负样本加权对比损失，通过优化器对构建的跨模态图文检索初始模型进行优化，得到跨模态图文检索模型；

S6.采用步骤S5得到的跨模态图文检索模型，进行实际的图像-文本的跨模态检索。

2.根据权利要求1所述的一种用于图像-文本的跨模态检索方法，其特征在于步骤S1所述的获取图文对数据集，并构建跨模态图文检索初始模型，具体包括如下步骤：

A.获取图文对数据集：图文对数据集包括图像数据集和文本数据集；

B.构建的跨模态图文检索初始模型包括：将图像数据集通过卷积神经网络提取图像特征向量集；将文本数据集通过词袋模型提取文本特征向量集；然后通过投影函数将图像特征向量集和文本特征向量集投影到公共空间；最后在公共空间内进行相似性度量和标签分类。

3.根据权利要求2所述的一种用于图像-文本的跨模态检索方法，其特征在于步骤S2所述的对步骤S1获取的图文对数据集进行处理，得到特征向量，具体包括如下步骤：

将步骤S1获取的图文对数据集中的图像数据集通过卷积神经网络提取图像特征，从而得到图像特征向量集；将步骤S1获取的图文对数据集中的文本数据集通过词袋模型提取关键语义词，从而得到文本特征向量集。

4.根据权利要求3所述的一种用于图像-文本的跨模态检索方法，其特征在于步骤S3所述的将步骤S2得到的特征向量通过投影函数，获取在公共空间内的统一维度特征向量，进行标签分类并计算标签分类损失，具体包括如下步骤：

a.将步骤S2得到的图像特征向量集中的图像特征向量，通过三层全连接层网络；

b.将步骤S2得到的文本特征向量集中的文本特征向量，通过三层全连接层网络；

c.通过步骤a和步骤b的处理，图像特征向量和文本特征向量位于同一个实值空间内，然后通过同一个全连接层进行参数共享，最终投影到同一个低维公共空间，进行标签分类；

d.采用如下算式计算标签分类损失L₁：

式中n为训练样本数；y_i为每个训练实例的标签；p_i(u_i)为生成的图像概率分布；p_i(v_i)为生成的文本概率分布。