[发明专利]对象关系预测方法、装置、终端设备及可读存储介质

说明书

本申请适用于图像识别技术领域，提供了一种对象关系预测方法、装置、终端设备及可读存储介质，该方法包括：通过预设的对象检测器，获取待检测图像中多个对象的特征信息、以及待检测图像的视觉特征向量。根据每个对象的特征信息，获取多个对象的非视觉特征向量。根据两个对象之间的非视觉特征向量和视觉特征向量，通过预设的谓词预测模型，获取两个对象之间的谓词预测结果。由于在预测谓词时，考虑了两个对象之间的位置向量以及两个对象的语义嵌入向量，使得在出现零样本的对象标签时，可以根据零样本对象的语义嵌入向量、零样本对象的位置，确定零样本对象和现有对象之间的关系，有效的提高了在出现零样本时，两个对象之间关系的预测准确度。

技术领域

本申请属于图像识别技术领域，尤其涉及一种对象关系预测方法、装置、终端设备及可读存储介质。

背景技术

随着技术发展，图像识别中，对个体对象的识别和检测已经有了巨大的进步，然而，对于对象之间的关系检测，依然需要进行改进。

现有技术中，将不同对象的关系作为一个主谓宾的三元组，主语和宾语分别为不同的对象，谓词则是这两个对象之间的关系，通过视觉基因组(Visual Genome，VG)数据集，对两个对象之间的谓词类别进行预测，其中，VG数据集中包括了固定数量的对象类别和与对象类别搭配的谓词类别。

但是，由于VG数据集中的对象类别和谓词类别数量是固定的，在出现零样本的情况时(即VG数据集中不存在该对象类别和与其搭配的谓词类别)，无法准确的预测两个对象之间的关系，得到的预测结果不够准确。

发明内容

本申请实施例提供了一种对象关系预测方法、装置、终端设备及可读存储介质，可以改善零样本时，无法准确的预测两个对象之间的关系，得到的预测结果不够准确的问题。

第一方面，本申请实施例提供了一种对象关系预测方法包括：

通过预设的对象检测器，获取待检测图像中多个对象的特征信息、以及待检测图像的视觉特征向量，其中，特征信息包括对象的类别标签以及对象的边界信息。根据每个对象的特征信息，获取多个对象的非视觉特征向量，其中，非视觉特征向量是由两个对象之间的位置向量以及两个对象的语义嵌入向量串联得到的，语义嵌入向量是根据预设数据库中，每个对象的类别标签映射得到的，用于表示两个对象之间的语义关系。根据任意两个对象之间的非视觉特征向量和视觉特征向量，通过预设的谓词预测模型，获取两个对象之间的谓词预测结果，其中，谓词用于表示两个对象之间的关系。

一些实施方式中，根据每个对象的特征信息，获取多个对象的非视觉特征向量，包括：获取每个对象对应的掩码图，根据每个对象对应的掩码图，得到每两个对象之间的位置向量，其中，掩码图用于表示每个对象在待检测图像中的位置。将任意两个对象中的第一对象的类别标签映射为主语嵌入向量，将任意两个对象中的第二对象的类别标签映射为宾语嵌入向量。将主语向量和宾语向量串联，得到语义嵌入向量。

一些实施方式中，根据每个对象对应的掩码图，得到每两个对象之间的位置向量，包括：根据每个对象的边界信息，获取每个对象对应的位置掩码图，其中，每个对象对应的位置掩码图用于掩盖待检测图像中，每个对象的边界以外的区域。将每两个对象对应的位置掩码图串联，得到双重位置掩码图。通过预设的位置提取算法，根据双重位置掩码图得到位置向量。

一些实施方式中，根据两个对象之间的非视觉特征向量和视觉特征向量，通过预设的谓词预测模型，获取两个对象之间的谓词预测结果，包括：将两个对象之间的非视觉特征向量和视觉特征向量根据预设权重串联，并乘以预设的权重矩阵，得到待评分谓词的第一预测向量，其中，待评分谓词是从预设谓词库中获取的。将串联的非视觉特征向量和视觉特征向量，输入待训练的谓词预测模型，迭代k次，得到k个待评分谓词的第二预测向量，其中，k为大于1的整数。根据每个待评分谓词的第一预测向量和每个待评分谓词的k个第二预测向量，确定两个对象之间的谓词预测结果。