[发明专利]场景图生成方法、装置、计算机可读介质及电子设备

说明书

本申请的实施例提供了一种场景图生成方法、装置、计算机可读介质及电子设备。该场景图生成方法包括：获取待处理图像中包含的各个对象的多个特征向量；根据所述各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到所述各个对象的目标特征向量；根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系；根据所述待处理图像中包含的多个对象以及所述待处理图像中包含的对象关系，生成针对所述待处理图像的场景图。本申请实施例的技术方案能够更准确地预测图像中包含的对象关系，从而使得生成的场景图对图结构的描述也更加准确和全面。

技术领域

本申请涉及人工智能技术领域，具体而言，涉及一种场景图生成方法、装置、计算机可读介质及电子设备。

背景技术

场景图是图像内容的结构化表示，不仅提供场景中各个物体的语义和空间信息，还捕获每对物体之间的关系。然而，传统生成的场景图的方法只是基于场景图像中的物体的视觉表达并结合自然语言处理生成对图像内容的整体语言描述，忽略了物体本身的一些特性，也没有利用物体之间本身存在的相关性质，因而导致生成的场景图对图像的图结构描述存在着不全面、不准确的问题。

发明内容

本申请的实施例提供了一种场景图生成方法、装置、计算机可读介质及电子设备，进而至少在一定程度上能够更准确地预测图像中包含的对象关系，从而使得生成的场景图对图结构的描述也更加准确和全面。

本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。

根据本申请实施例的一个方面，提供了一种场景图生成方法，包括：获取待处理图像中包含的各个对象的多个特征向量；根据所述各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到所述各个对象的目标特征向量；根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系；根据所述待处理图像中包含的多个对象以及所述待处理图像中包含的对象关系，生成针对所述待处理图像的场景图。

根据本申请实施例的一个方面，提供了一种场景图生成装置，包括：获取单元，配置为获取待处理图像中包含的各个对象的多个特征向量；融合处理单元，配置为根据所述各个对象的多个特征向量以及预先构建的知识图谱进行特征向量的融合处理，得到所述各个对象的目标特征向量；分类单元，配置为根据两两对象分别对应的目标特征向量，对所述两两对象之间的关系进行分类，以得到所述待处理图像中包含的对象关系；生成单元，配置为根据所述待处理图像中包含的多个对象以及所述待处理图像中包含的对象关系，生成针对所述待处理图像的场景图。

在本申请的一些实施例中，基于前述方案，所述融合处理单元包括：确定子单元，配置为确定所述各个对象在所述知识图谱中对应的特征向量，根据所述各个对象在所述知识图谱中对应的特征向量和所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第一特征向量；处理子单元，配置为根据所述各个对象的多个特征向量进行特征向量的融合处理，得到所述各个对象的第二特征向量；生成子单元，配置为根据所述第一特征向量和所述第二特征向量，生成所述各个对象的目标特征向量。

在本申请的一些实施例中，基于前述方案，所述生成子单元配置为：对所述第一特征向量和所述第二特征向量分别进行加权，得到加权后的第一特征向量和加权后的第二特征向量；对所述加权后的第一特征向量与所述加权后的第二特征向量进行合并处理，得到所述各个对象的目标特征向量。

在本申请的一些实施例中，基于前述方案，所述分类单元配置为：将所述两两对象组合成对象对，根据所述对象对中两两对象分别对应的目标特征向量，生成所述对象对的特征向量；将所述对象对的特征向量输入预定的分类器，得到所述分类器输出的分类预测结果，所述分类预测结果中包含有所述对象对中两两对象之间的关系属于各个关系类别的预测分数；将最大预测分数指示的关系类别作为所述两两对象之间的关系类别，以得到所述待处理图像中包含的对象关系。