[发明专利]基于图像的数据处理方法、装置、设备及可读存储介质

权利要求书

1.一种基于图像的数据处理方法，其特征在于，包括：

获取图像和待处理的文本；

提取图像中多个对象的特征，以及提取所述文本的特征；

根据文本与多个对象中每个对象的特征的匹配度，保留或者强化匹配度大于等于匹配度阈值的对象的特征，删除或者弱化匹配度小于匹配度阈值的对象的特征，再将保留的特征融合得到图像的融合特征；其中，文本与每个对象的特征的匹配度表示文本对每个对象的注意力；

根据所述图像的融合特征和文本的特征，对所述文本进行处理；

其中，所述文本与多个对象中每个对象的特征的匹配度的确定过程，包括：

依次将每个对象对应的边界框内的图像和文本输入至匹配模型中，得到匹配模型输出的每个对象的特征分别与文本中每个词的特征的匹配度；

根据每个对象的特征分别与文本中每个词的特征的匹配度，得到所述文本与每个对象的特征的匹配度。

2.根据权利要求1所述的方法，其特征在于，所述匹配模型包括：图像特征提取步骤、文本特征提取步骤、图像特征维度变换步骤、文本特征维度变换步骤以及匹配步骤；

其中，图像特征提取步骤，用于从每个对象对应的边界框内的图像中提取每个对象的特征；图像特征维度变换步骤，用于将每个对象的特征维度变换为预设维度；文本特征提取步骤，用于提取文本中每个词的特征；文本特征维度变换步骤，用于将文本中每个词的特征维度变换为所述预设维度；匹配步骤，用于计算维度变换后，每个对象的特征分别与每个词的特征的匹配度。

3.根据权利要求2所述的方法，其特征在于，所述匹配步骤，具体用于：

计算维度变换后，每个对象的特征分别与文本中每个词的特征的距离和/或余弦相似度，得到每个对象的特征与文本中每个词的特征的匹配度。

4.根据权利要求1所述的方法，其特征在于，在所述依次将每个对象对应的边界框内的图像和文本输入至匹配模型中之前，还包括：

获取用于训练所述匹配模型的正样本对象对应的边界框内的图像、负样本对象对应的边界框内的图像和正样本对象的标签；

将所述正样本对象对应的边界框内的图像、负样本对象对应的边界框内的图像和所述标签输入至匹配模型中，得到正样本对象的特征与标签特征的第一匹配度，以及负样本对象的特征与标签特征的第二匹配度；

以最大化第一匹配度并最小化第二匹配度为目标，或者以第一匹配度与第二匹配度的差值大于预设阈值为目标，训练所述匹配模型。

5.根据权利要求1所述的方法，其特征在于，所述根据每个对象的特征分别与文本中每个词的特征的匹配度，得到所述文本与每个对象的特征的匹配度，包括：

在每个对象的特征分别与文本中每个词的特征的匹配度中，计算与每个对象的特征对应的最大匹配度或者平均匹配度，作为所述文本与每个对象的特征的匹配度。

6.根据权利要求1所述的方法，其特征在于，所述文本与多个对象中每个对象的特征的匹配度的确定过程，包括：

获取每个对象的类别；

在文本中查找每个对象的类别，并根据查找结果确定文本与每个对象的特征的匹配度。

7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据文本与多个对象中每个对象的特征的匹配度，将多个对象的特征融合为图像的融合特征，包括：

根据文本与每个对象的特征的匹配度，对每个对象的特征进行加权求和，得到图像的融合特征。