[发明专利]场景信息的检测方法和装置、电子设备

说明书

本公开实施例提供一种场景信息的检测方法和装置、电子设备，其中，该方法可以包括：根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到待传播的特征维度是Cy*1的汇聚特征，其中，Cy是汇聚特征的通道维度，且Cy与目标节点的节点特征的通道维度相同；其中，场景异构图包括至少两种异质节点：辅助节点以及基于场景图像得到的目标节点；基于汇聚特征更新目标节点的节点特征；根据更新后的目标节点的节点特征，获得场景图像的场景信息。

技术领域

本公开涉及计算机视觉技术，具体涉及一种场景信息的检测方法和装置、电子设备。

背景技术

随着深度学习技术的不断发展，场景理解算法可以获取场景图像中包含的场景信息，例如，该场景信息可以是场景图像中包含哪些物体，或者场景图像中的各个物体之间具有怎样的关系，即理解这个场景图像中正在发生什么事件。而由于场景图像中包含的信息复杂多样，出于计算量大等多种因素的考虑，现有的场景理解算法往往只能利用场景图像中的一种类型的信息来辅助场景的理解，使得最终获得的场景信息的检测精度有待提高。

发明内容

有鉴于此，本公开实施例至少提供一种场景信息的检测方法和装置、电子设备。

第一方面，提供一种场景信息的检测方法，所述方法包括：

根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到待传播的汇聚特征，所述汇聚特征的特征维度是Cy*1，其中，所述Cy是所述汇聚特征的通道维度，且所述Cy与目标节点的节点特征的通道维度相同；其中，所述场景异构图包括至少两种异质节点，所述至少两种异质节点包括：所述辅助节点以及基于所述场景图像得到的所述目标节点；

基于所述汇聚特征，更新所述目标节点的节点特征；

根据更新后的所述目标节点的节点特征，获得所述场景图像中的场景信息。

在一些实施例中，所述基于所述汇聚特征，更新所述目标节点的节点特征，包括：根据所述汇聚特征的每个通道的通道特征，对所述目标节点的节点特征中对应所述每个通道的所有特征位置利用所述通道特征进行特征更新处理。

在一些实施例中，所述根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到待传播的汇聚特征，包括：根据场景异构图中与目标节点连接的各辅助节点的节点特征，得到重加权向量和残差向量中的至少一种作为所述汇聚特征；所述基于所述汇聚特征，更新所述目标节点的节点特征，包括：基于所述重加权向量对目标节点的节点特征的各通道进行相乘处理，和/或，通过所述残差向量对目标节点的节点特征的各通道进行相加处理。

在一些实施例中，所述得到重加权向量和残差向量中的至少一种作为所述汇聚特征，包括：通过激活函数、以及所述目标节点的节点特征的标准差，将所述残差向量的取值映射到预定的数值区间作为所述汇聚特征。

在一些实施例中，所述目标节点包括：对象组节点，所述对象组包括所述场景图像中的两个对象；所述根据更新后的所述目标节点的节点特征，获得所述场景图像中的场景信息，包括：根据更新后的对象组节点的节点特征，得到所述对象组节点中两个对象之间关系的预测结果。