[发明专利]场景图生成方法、装置、计算机可读介质及电子设备

权利要求书

1.一种场景图生成方法，其特征在于，所述方法包括：

获取待处理图像中包含的各个对象的多个特征向量；

根据所述各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到所述各个对象的目标特征向量；

根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系；

根据所述待处理图像中包含的多个对象以及所述待处理图像中包含的对象关系，生成针对所述待处理图像的场景图。

2.根据权利要求1所述的方法，其特征在于，根据所述各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到所述各个对象的目标特征向量，包括：

确定所述各个对象在所述知识图谱中对应的特征向量，根据所述各个对象在所述知识图谱中对应的特征向量和所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第一特征向量；

根据所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第二特征向量；

根据所述第一特征向量和所述第二特征向量，生成所述各个对象的目标特征向量。

3.根据权利要求2所述的方法，其特征在于，根据所述第一特征向量和所述第二特征向量，生成所述各个对象的目标特征向量，包括：

对所述第一特征向量和所述第二特征向量分别进行加权，得到加权后的第一特征向量和加权后的第二特征向量；

对所述加权后的第一特征向量与所述加权后的第二特征向量进行合并处理，得到所述各个对象的目标特征向量。

4.根据权利要求1所述的方法，其特征在于，根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系，包括：

将所述两两对象组合成对象对，根据所述对象对中两两对象分别对应的目标特征向量，生成所述对象对的特征向量；

将所述对象对的特征向量输入预定的分类器，得到所述分类器输出的分类预测结果，所述分类预测结果中包含有所述对象对中两两对象之间的关系属于各个关系类别的预测分数；

将最大预测分数指示的关系类别作为所述两两对象之间的关系类别，以得到所述待处理图像中包含的对象关系。

5.根据权利要求1所述的方法，其特征在于，所述多个特征向量包含有所述各个对象的图像特征向量，所述方法还包括：

对所述待处理图像进行目标检测，以获得所述待处理图像中包含的各个对象对应的图像区域；

根据所述各个对象对应的图像区域，获取所述各个对象的图像特征向量。

6.根据权利要求1所述的方法，其特征在于，所述多个特征向量包含有所述各个对象的类别特征向量，所述方法还包括：

获取所述各个对象的类别标签，并对所述各个对象的类别标签进行向量化，得到所述各个对象的类别特征向量。

7.根据权利要求1所述的方法，其特征在于，所述多个特征向量中包含有所述各个对象的属性特征向量，所述方法还包括：

获取所述各个对象的属性标签，并对所述各个对象的属性标签进行向量化，得到所述各个对象的属性特征向量。

8.一种场景图生成装置，其特征在于，所述装置包括：

获取单元，配置为获取待处理图像中包含的各个对象的多个特征向量；

融合处理单元，配置为根据所述各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到所述各个对象的目标特征向量；

分类单元，配置为根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系；

生成单元，配置为根据所述待处理图像中包含的多个对象以及所述待处理图像中包含的对象关系，生成针对待处理图像的场景图。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的场景图生成方法。

10.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如权利要求1至7中任一项所述的场景图生成方法。