[发明专利]文本图像匹配方法、装置、设备及存储介质

权利要求书

1.一种文本图像匹配方法，其特征在于，所述方法包括：

获取第一文本与第一图像；

获取所述第一文本对应的至少两种尺度的文本特征；将所述至少两种尺度的文本特征融合，获取所述第一文本对应的第一多尺度融合特征；

获取所述第一图像对应的至少两种尺度的图像特征；将所述至少两种尺度的图像特征融合，获取所述第一图像对应的第二多尺度融合特征；

基于所述第一文本对应的第一多尺度融合特征，以及所述第一图像对应的第二多尺度融合特征，获取所述第一文本与所述第一图像的特征相似度；

基于所述特征相似度，确定所述第一文本与所述第一图像的匹配关系。

2.根据权利要求1所述的方法，其特征在于，所述将所述至少两种尺度的文本特征融合，获取所述第一文本对应的第一多尺度融合特征，包括：

将所述至少两种尺度的文本特征输入文本图像匹配模型中的第一特征融合分支，获取所述第一文本对应的第一多尺度融合特征；

所述将所述至少两种尺度的图像特征融合，获取所述第一图像对应的第二多尺度融合特征，包括：

将所述至少两种尺度的图像特征输入文本图像匹配模型中的第二特征融合分支，获取所述第一图像对应的第二多尺度融合特征。

3.根据权利要求2所述的方法，其特征在于，

所述第一特征融合分支为全连接层或深度学习模型；

或者，所述第二特征融合分支为所述全连接层或所述深度学习模型。

4.根据权利要求2或3所述的方法，其特征在于，所述获取所述第一图像对应的至少两种尺度的图像特征，包括：

将所述第一图像输入文本图像匹配模型中的图像特征提取分支，获得所述第一图像对应的至少两种尺度的图像特征。

5.根据权利要求4所述的方法，其特征在于，所述至少两种尺度的图像特征包括全局图像特征以及至少一种尺度的局部图像特征；所述图像特征提取分支包括全局特征提取层与至少一个局部特征提取层；所述全局特征提取层包含至少两个特征提取层；所述局部特征提取层包含至少一个特征提取层；所述特征提取层用于提取图像特征；

所述将所述第一图像输入文本图像匹配模型中的图像特征提取分支，获得所述第一图像对应的至少两种不同尺度的图像特征，包括：

基于所述第一图像，以及所述图像特征提取分支中的全局特征提取层，获取所述第一图像对应的全局图像特征；

基于所述第一图像与所述图像特征提取分支中的至少一个局部特征提取层，获取所述第一图像对应的至少一种尺度的局部图像特征。

6.根据权利要求5所述的方法，其特征在于所述基于所述第一图像与所述图像特征提取分支中的至少一个局部特征提取层，获取所述第一图像对应的至少一个不同尺度的局部图像特征，包括：

基于所述全局特征提取层中第一指定数量的特征提取层，对所述第一图像进行特征提取，获取所述第一图像对应的第一层中间图像特征；

将所述第一层中间图像特征进行分割，获得所述第一层中间图像特征对应的至少两个中间局部特征；

将所述第一层中间图像特征对应的至少两个中间局部特征拼接，获得所述第一层中间融合特征；所述第一层中间融合特征是与所述第一层中间图像特征不同的图像特征；所述第一层中间融合特征与所述第一层中间图像特征的尺寸相同；

基于所述第一层中间融合特征，以及所述图像特征提取分支中的至少一个局部特征提取层，获取所述第一图像对应的至少一种尺度的局部图像特征。