[发明专利]文本图像匹配方法、装置、计算机设备及存储介质

说明书

本申请是关于一种文本图像匹配方法、装置、计算机设备及存储介质，属于图像处理技术领域。该方法包括：获取第一特征以及第二特征；第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的，获取第一特征与第二特征之间的第一特征相似度；基于第一特征相似度，对第一特征以及第二特征进行加权，获得第一加权特征以及第二加权特征；基于第一特征、第二特征、第一加权特征以及第二加权特征，获取第一文本与第一图像的第二特征相似度；基于第二特征相似度，获取匹配信息。通过上述方案，提高了文本图像特征匹配的准确度。

技术领域

本申请实施例涉及图像处理技术领域，特别涉及一种文本图像匹配方法、装置、计算机设备及存储介质。

背景技术

图像处理是计算机视觉领域的一个重要研究方向，基于机器学习的方式来构建图像分类模型，并通过图像分类模型进行图像识别，是一种应用广泛的图像识别方法。

在相关技术中，当需要对于用户输入的文本信息找到匹配的图像时，可以基于机器学习的方式，通过预定义的图像文本特征对齐方式，来提取用户输入的文本对应的全局文本特征向量，以及各个候选图像对应的全局图像特征向量，或者提取用户输入的文本对应的局部文本特征向量，以及各个候选图像对应的局部图像特征向量，并根据全局向量之间的相似度或者局部向量之间的相似度确定图像与文本之间的匹配程度，进而选择与用于输入文本最接近的图像。

在上述技术方案中，仅通过图像文本特征对齐计算的方法，可能出现通过文本的局部特征无法确定图像是否匹配的情况，比如，“瘦的”属于局部文本特征通过局部图像特征无法确定图像是否匹配，这就导致了进行文本图像匹配的准确度较差。

发明内容

本申请实施例提供了一种文本图像匹配方法、装置、计算机设备及存储介质，在文本图像匹配过程中，通过对经过编码后的多尺度文本特征以及多尺度图像特征添加对应的注意力权重，从而获取文本图像匹配关系，可以提高文本图像匹配的准确度。该技术方案如下：

一方面，提供了一种文本图像匹配方法，所述方法包括：

获取第一特征以及第二特征；所述第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；所述第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的；

获取所述第一特征与所述第二特征之间的第一特征相似度；

基于所述第一特征相似度，对所述第一特征以及所述第二特征进行加权，获得第一加权特征以及第二加权特征；

基于所述第一特征、所述第二特征、所述第一加权特征以及所述第二加权特征，获取所述第一文本与所述第一图像的第二特征相似度；

基于所述第二特征相似度，获取匹配信息，所述匹配信息用于指示所述第一文本与所述第一图像之间的匹配关系。

一方面，提供了一种文本图像匹配装置，所述装置包括：

特征获取模块，用于获取第一特征以及第二特征；所述第一特征是由第一文本包含的至少两种尺度的文本特征经过编码得到的；所述第二特征是由第一图像包含的至少两种尺度的图像特征经过编码得到的；

第一相似度获取模块，用于获取所述第一特征与所述第二特征之间的第一特征相似度；

加权特征获取模块，用于基于所述第一特征相似度，对所述第一特征以及所述第二特征进行加权，获得第一加权特征以及第二加权特征；

第二相似度获取模块，用于基于所述第一特征、所述第二特征、所述第一加权特征以及所述第二加权特征，获取所述第一文本与所述第一图像的第二特征相似度；

匹配信息获取模块，用于基于所述第二特征相似度，获取匹配信息，所述匹配信息用于指示所述第一文本与所述第一图像之间的匹配关系。