[发明专利]文本图像匹配方法、装置、设备及存储介质

说明书

本申请是关于一种文本图像匹配方法、装置、设备及存储介质，涉及图像处理技术领域。所述方法包括：获取第一文本与第一图像；获取第一文本对应的至少两种尺度的文本特征；将至少两种尺度的文本特征融合，获取第一文本对应的第一多尺度融合特征；获取第一图像对应的至少两种尺度的图像特征；将至少两种尺度的图像特征融合，获取第一图像对应的第二多尺度融合特征；基于第一多尺度融合特征与第二多尺度融合特征，获取第一文本与第一图像的特征相似度；基于特征相似度，确定第一文本与第一图像的匹配关系。上述方案通过自然语言处理与计算机视觉技术，考虑了不同特征尺度之间的文本与图像的特征相似情况，提高了文本与图像之间的匹配准确性。

技术领域

本申请涉及图像处理技术领域，特别涉及一种文本图像匹配方法、装置、设备及存储介质。

背景技术

图像处理是计算机视觉领域的一个重要研究方向，基于机器学习的方式来构建图像分类模型，并通过图像分类模型进行图像识别，是一种应用广泛的图像识别方法。

在相关技术中，当需要对于用户输入的文本信息找到匹配的图像时，可以基于机器学习的方式来构建图像特征提取模型与文本特征提取模型，其中文本特征提取模型用于提取用户输入的文本对应的文本特征向量，图像特征提取模型用于获取各个候选图像对应的图像特征向量，并根据向量之间的相似度选择图像与文本之间的匹配程度，进而选择与用于输入文本最接近的图像。

在上述技术方案中，开发的图像特征提取模型与文本特征提取模型的文本图像匹配准确性较低。

发明内容

本申请实施例提供了一种文本图像匹配方法、装置、设备及存储介质，可以通过将多种尺度的文本特征融合，以及将多种尺度的图像特征融合，并根据融合后的文本特征与图像特征的特征相似度确定文本与图像的匹配关系，提高了文本图像匹配的准确性，该技术方案如下：

一方面，提供了一种文本图像匹配方法，所述方法包括：

获取第一文本与第一图像；

获取所述第一文本对应的至少两种尺度的文本特征；

将所述至少两种尺度的文本特征融合，获取所述第一文本对应的第一多尺度融合特征；

获取所述第一图像对应的至少两种尺度的图像特征；

将所述至少两种尺度的图像特征融合，获取所述第一图像对应的第二多尺度融合特征；

基于所述第一文本对应的第一多尺度融合特征，以及所述第一图像对应的第二多尺度融合特征，获取所述第一文本与所述第一图像的特征相似度；

基于所述特征相似度，确定所述第一文本与所述第一图像的匹配关系。

又一方面，提供了一种文本图像匹配模型训练方法，所述方法包括：

获取训练样本集，所述训练样本集中包含样本文本，以及与所述样本文本匹配的样本图像；

将所述样本文本输入文本图像匹配模型中的文本特征提取分支，获取所述样本文本对应的至少两种尺度的文本特征；

将所述样本图像输入所述文本图像匹配模型中的图像特征提取分支，获取所述样本图像对应的至少两种尺度的图像特征；

将所述样本文本对应的至少两种尺度的文本特征融合，获取所述样本文本对应的第一多尺度融合特征；

将所述样本图像对应的至少两种尺度的图像特征融合，获取所述样本图像对应的第二多尺度融合特征；

将所述样本文本对应的第一多尺度融合特征与所述样本图像对应的第二多尺度融合特征输入损失函数，获取所述样本文本对应的损失函数值；

基于所述样本文本对应的损失函数值，更新所述文本图像匹配模型。