[发明专利]一种基于文本树局部匹配的图文跨模态检索方法及系统

权利要求书

1.一种基于文本树局部匹配的图文跨模态检索方法，其特征在于，包括以下步骤：

获取数据集并对数据集进行预处理和划分，得到训练集；

将训练集中的图片和文本分别输入对应网络进行特征提取，得到图片特征和文本特征；

根据文本特征生成文本树；

根据文本树和图片特征进行图文对相似度计算并反向传播训练网络，得到跨模态检索模型；

获取待测数据并输入至跨模态检索模型，得到检索结果。

2.根据权利要求1所述一种基于文本树局部匹配的图文跨模态检索方法，其特征在于，所述获取数据集并对数据集进行预处理和划分，得到训练集这一步骤，其具体包括：

获取数据集并将数据集中的图片和文本建立对应关系，得到图文对应关系；

根据图文对应关系生成字典数据；

将字典数据按照预设比例划分，得到训练集和测试集。

3.根据权利要求2所述一种基于文本树局部匹配的图文跨模态检索方法，其特征在于，所述将训练集中的图片和文本分别输入对应网络进行特征提取，得到图片特征和文本特征这一步骤，其具体包括：

将训练集中的图片切片并输入至线性网络，得到图片特征；

将训练集中的文本进行编码并输入至卷积神经网络生成嵌入向量，得到文本特征。

4.根据权利要求3所述一种基于文本树局部匹配的图文跨模态检索方法，其特征在于，所述根据文本特征生成文本树这一步骤，其具体包括：

将文本特征输入至前馈神经网络生成初步输出分数；

将初步输出分数进行归一化采样并计算相邻两个分量的L2范数和；

根据相邻两个分量的L2范数和对每个文本特征进行合并，迭代生成文本树。

5.根据权利要求4所述一种基于文本树局部匹配的图文跨模态检索方法，其特征在于，所述根据相邻两个分量的L2范数和对每个文本特征进行合并，迭代生成文本树这一步骤，其具体包括：

将L2范数和最高的两项进行合并，得到合并后分数；

将合并后分数和其他分量的分数进行归一化处理；

取相邻两个分量做L2范数和的计算并合并最高的两项，迭代直至没有两项可以合并，生成文本树。

6.根据权利要求5所述一种基于文本树局部匹配的图文跨模态检索方法，其特征在于，所述根据文本树和图片特征进行图文对相似度计算并反向传播训练网络，得到跨模态检索模型这一步骤，其具体包括：

将文本树和图片特征输入至预设的图文匹配网络；

将文本树中的节点与图片特征依次进行余弦相似度计算，并根据余弦相似度进行图文匹配；

计算文本树和图片的匹配整体损失并训练图文匹配网络，得到跨模态检索模型。

7.根据权利要求6所述一种基于文本树局部匹配的图文跨模态检索方法，其特征在于，所述匹配整体损失的计算公式如下：

上式中，m表示图片和文本的距离，T表示文本，V表示图像，V′表示与文本T不匹配的图片，γ表示边际参数，T′表示与图片V不匹配的文本。

8.一种基于文本树局部匹配的图文跨模态检索系统，其特征在于，包括：

预处理模块，用于获取数据集并对数据集进行预处理和划分，得到训练集；

特征提取模块，用于将训练集中的图片和文本分别输入对应网络进行特征提取，得到图片特征和文本特征；

树生成模块，用于根据文本特征生成文本树；

模型训练模块，用于根据文本树和图片特征进行图文对相似度计算并反向传播训练网络，得到跨模态检索模型；

检索模块，用于获取待测数据并输入至跨模态检索模型，得到检索结果。