[发明专利]一种基于有限标签构造场景图的方法、装置及计算机设备

权利要求书

1.一种基于有限标签构造场景图的方法，其特征在于，所述方法包括：

获取待构造场景图的图像；

通过训练后的场景图生成模型对所述图像进行实体检测处理，以确定所述图像中各个实体对应的边界框和标签，其中，所述实体对应图像中出现的人和/或物品，所述标签用于表征识别所述实体的信息；

通过训练后的场景图生成模型对所述各个实体的边界框和标签进行实体关系预测处理，以获得所述各个实体的初始场景图，其中，所述初始场景图包括所述各个实体的标签和所述各个实体对应的多种关系，每个实体对应的多种关系用于表征该实体与除自身之外的其他实体之间关联关系；

其中，所述通过训练后的场景图生成模型对所述各个实体的边界框和标签进行实体关系预测处理，包括：

根据所述各个实体对应的边界框，确定所述各个实体位置信息；

根据所述各个实体中的主体实体与客体实体之间的位置信息，获得所述各个实体中的所有主体实体对应的实体对的空间特征向量，其中，当确定第一实体对应的实体对的空间特征向量时，所述实体对中的主体实体用于表征所述图像中的第一实体，所述实体对中的客体实体用于表征所述图像中除第一实体之外的其他实体；

将所述所有主体实体对应实体对空间特征向量进行聚类处理，确定实体对关系的空间多样性特征向量；

对所述各个实体的标签进行词嵌入方式处理，以确定所述各个实体中的所述主体实体的类别标签和所述客体实体的类别标签，并对所述各个实体中的所述主体实体的类别标签和所述客体实体的类别标签进行统一向量化处理，获得实体对关系的类别特征向量，其中，类别标签用于表征所述图像中实体的类别属性；

统计所述实体对对应的关系对应的实体对数量，以确定所述实体对关系的类别多样性特征向量。

2.如权利要求1所述的方法，其特征在于，通过训练后的场景图生成模型对所述各个实体的边界框和标签进行实体关系预测处理，以获得所述各个实体的初始场景图，包括：

对所述实体对关系的空间特征向量、类别特征向量、空间多样性特征向量以及类别多样性特征向量进行特征向量选择处理；

根据所述特征向量选择处理后的信息和所述标签，获得所述各个实体的初始场景图。

3.如权利要求1所述的方法，其特征在于，所述方法还包括：

确定所述待构造场景图的全局信息，其中，所述全局信息中包括所述待构造场景图对应的特定场景相关的信息；

对所述初始场景图添加所述全局信息，获得所述图像的全局场景图，其中，所述全局场景图中包括所述图像中的实体对应的标签、所述实体对应的多种关系以及所述图像对应的特定场景的信息。

4.如权利要求1所述的方法，其特征在于，所述训练后的场景图生成模型通过以下方式训练得到，包括：

确定第一场景图像数据集，并对所述第一场景图像数据集中的实体和实体关系进行有限标注，以获得待训练的第一场景的有限图像语义数据集，其中，所述实体关系至少包括实体与实体之间的位置关系以及实体与实体之间的互动关系；

将所述待训练的第一场景的有限图像语义数据集和预先确定的多个包含所述第一场景中实体的场景图像语义数据集输入到预设场景图生成模型中进行训练，获得多个输出结果，其中，所述多个输出结果为对所述预设场景图进行多次训练所获得的；

根据所述多个输出结果与所述有限图像语义数据集进行比对，以获得多个比对结果，并根据所述多个比对结果对所述预设的场景图生成模型的模型参数进行调整，以得到训练后的场景图生成模型。

5.如权利要求4所述的方法，其特征在于，根据所述多个比对结果对所述预设场景图生成模型的模型参数进行调整，以得到训练后的场景图生成模型，包括：

确定整体损失函数，其中，所述整体损失函数为对所述图像进行所述实体检测处理确定的第一损失函数和对所述图像进行所述实体关系预测确定的第二损失函数进行加权计算所获得的；

在对所述预设场景图生成模型进行训练之后，通过所述整体损失函数对训练后的所述预设场景图生成模型进行收敛检验；

当确定所述训练后的所述预设场景图生成模型已收敛，则获得所述训练后的场景图生成模型。