[发明专利]一种基于有限标签构造场景图的方法、装置及计算机设备

说明书

本申请公开了一种基于有限标签构造场景图的方法、装置及计算机设备，涉及图像处理技术领域，用于解决现有技术中场景图构造精准性较差的问题。该方法包括：获取待构造场景图的图像；通过训练后的场景图生成模型对所述图像进行实体检测处理，以确定所述图像中各个实体对应的边界框和标签，其中，所述实体对应图像中出现的人和/或物品，所述标签用于表征识别所述实体的信息；通过训练后的场景图生成模型对所述各个实体的边界框和标签进行实体关系预测处理，以获得所述各个实体的初始场景图，其中，所述初始场景图包括所述各个实体的标签和所述各个实体对应的多种关系，每个实体对应的多种关系用于表征该实体与除自身之外的其他实体之间关联关系。

技术领域

本申请涉及图像处理技术领域，尤其涉及一种基于有限标签构造场景图的方法、装置及计算机设备。

背景技术

现有技术中，对视觉图像的描述，要尽可能对图像中的场景内容进行描述，除了图像中显著的对象之外，对象之间的关系也是图像中内容交互的重点。

然而，目前的场景图的构造方法，采用人工标注的方式对缺失的对象进行补充描述，即仅仅对对象的信息进行标注，而不能对对象与其它对象之间的缺失关系进行补充描述。

可见，现有技术中存在场景图构造精准性较差的技术问题。

发明内容

本申请提供一种基于有限标签构造场景图的方法、装置及计算机设备，以解决相用于解决现有技术中场景图构造精准性较差的技术问题。本申请的技术方案如下：

第一方面，提供一种基于有限标签构造场景图的方法，所述方法包括：

获取待构造场景图的图像；

通过训练后的场景图生成模型对所述图像进行实体检测处理，以确定所述图像中各个实体对应的边界框和标签，其中，所述实体对应图像中出现的人和/或物品，所述标签用于表征识别所述实体的信息；

通过训练后的场景图生成模型对所述各个实体的边界框和标签进行实体关系预测处理，以获得所述各个实体的初始场景图，其中，所述初始场景图包括所述各个实体的标签和所述各个实体对应的多种关系，每个实体对应的多种关系用于表征该实体与除自身之外的其他实体之间关联关系。

在一种可能的实施方式中，通过训练后的场景图生成模型对所述各个实体的边界框和标签进行实体关系预测处理，包括：

根据所述各个实体对应的边界框，确定所述各个实体位置信息；

根据所述各个实体中的主体实体与客体实体之间的位置信息，获得所述各个实体中的所有主体实体对应的实体对的空间特征向量，其中，当确定第一实体对应的实体对的空间特征向量时，所述实体对中的主体实体用于表征所述图像中的第一实体，所述实体对中的客体实体用于表征所述图像中除第一实体之外的其他实体；

将所述所有主体实体对应实体对空间特征向量进行聚类处理，确定实体对关系的空间多样性特征向量；

对所述各个实体的标签进行词嵌入方式处理，以确定所述各个实体中的所述主体实体的类别标签和所述客体实体的类别标签，并对所述各个实体中的所述主体实体的类别标签和所述客体实体的类别标签进行统一向量化处理，获得实体对关系的类别特征向量，其中，类别标签用于表征所述图像中实体的类别属性；

统计所述实体对对应的关系对应的实体对数量，以确定所述实体对关系的类别多样性特征向量。

在一种可能的实施方式中，通过训练后的场景图生成模型对所述各个实体的边界框和标签进行实体关系预测处理，以获得所述各个实体的初始场景图，包括：

对所述实体对关系的空间特征向量、类别特征向量、空间多样性特征向量以及类别多样性特征向量进行特征向量选择处理；

根据所述特征向量选择处理后的信息和所述标签，获得所述各个实体的初始场景图。