[发明专利]一种基于文本树局部匹配的图文跨模态检索方法及系统

说明书

本发明公开了一种基于文本树局部匹配的图文跨模态检索方法及系统，该方法包括：获获取数据集并对数据集进行预处理和划分，得到训练集；将训练集中的图片和文本分别输入对应网络进行特征提取，得到图片特征和文本特征；根据文本特征生成文本树；根据文本树和图片特征进行图文对相似度计算并反向传播训练网络，得到跨模态检索模型；获取待测数据并输入至跨模态检索模型，得到检索结果。该系统包括：预处理模块、特征提取模块、树生成模块、模型训练模块和检索模块。通过使用本发明，实现跨模态检索，具有高可解释性和高检索精度的优点。本发明可广泛应用于图文匹配领域。

技术领域

本发明涉及图文匹配领域，尤其涉及一种基于文本树局部匹配的图文跨模态检索方法及系统。

背景技术

现有跨模态检索对于数据集分为局部和整体两种研究思路。全局对应关系首先将图像和文本表示为特征向量，然后将它们投影到一个经过排序损失优化的公共空间中；局部对应关系集中在学习显著对象的对应关系上。对于数据集中的图片，特征提取一般直接应用ResNet，fast-RCNN等卷积神经网络，对于对应的文本，应用GRU等卷积神经网络生成嵌入向量，之后两者共同放入Transformer进行相似度的计算，得到训练后的模型。使用时输入要检索的图片或文本，可得到最匹配的文本或图片。在局部对齐方面，现在应用较多的注意力机制，将图片与文本矩阵做加权和，来衡量两着的注意力分数，以此来判定二者是否对齐。

图片和文本在特征提取之后，直接投射到公共空间，由于模态信息的差异，二者的相似度计算效果较差，缺乏对图像和文本之间的细粒度相互作用的理解，局部的匹配没有实现对应，准确性还有待提升。同时注意力机制的使用具有很强的约束性，对于文本和图片，直接计算衡量相似度的效果有限。

发明内容

为了解决上述技术问题，本发明的目的是提供一种基于文本树局部匹配的图文跨模态检索方法及系统，实现跨模态检索，可解释性高且检索精度高。

本发明所采用的第一技术方案是：一种基于文本树局部匹配的图文跨模态检索方法，包括以下步骤：

获取数据集并对数据集进行预处理和划分，得到训练集；

将训练集中的图片和文本分别输入对应网络进行特征提取，得到图片特征和文本特征；

根据文本特征生成文本树；

根据文本树和图片特征进行图文对相似度计算并反向传播训练网络，得到跨模态检索模型；

获取待测数据并输入至跨模态检索模型，得到检索结果。

进一步，所述获取数据集并对数据集进行预处理和划分，得到训练集这一步骤，其具体包括：

获取数据集并将数据集中的图片和文本建立对应关系，得到图文对应关系；

根据图文对应关系生成字典数据；

将字典数据按照预设比例划分，得到训练集和测试集。

进一步，所述将训练集中的图片和文本分别输入对应网络进行特征提取，得到文本特征和图片特征这一步骤，其具体包括：

将训练集中的图片切片并输入至线性网络，得到图片特征；

将训练集中的文本进行编码并输入至卷积神经网络生成嵌入向量，得到文本特征。

进一步，所述根据文本特征生成文本树这一步骤，其具体包括：

将文本特征输入至前馈神经网络生成初步输出分数；

将初步输出分数进行归一化采样并计算相邻两个分量的L2范数和；

根据相邻两个分量的L2范数和对每个文本特征进行合并，迭代生成文本树。