[发明专利]一种基于场景图高阶语义结构的视觉关系检测方法及装置

权利要求书

1.一种基于场景图高阶语义的视觉关系检测方法，其特征在于,具体包括以下步骤：

S1、预测图片中所有物体的类别和位置，输出每个物体所对应的视觉特征向量，对检测出的所有物体中的每两个进行配对操作，基于配对结果，提取联合视觉特征向量，对位置进行编码得到位置编码；

S2、将所述所有物体的类别输入层级语义聚类算法，经过处理得到每个物体对应的高层语义特征向量；

S3、对所述层级语义聚类算法的输出进行语义编码；

S4、生成关系分类器权重；

S5、将所述视觉特征向量、所述联合视觉特征向量和所述位置编码合并为统一的特征向量，利用所述关系分类器权重对所述统一的特征向量进行点乘操作，最终得到每两个物体之间的关系条件概率，作为场景图。

2.根据权利要求1所述的基于场景图高阶语义的视觉关系检测方法，其特征在于，物体的类别是一个编号，通过对输入数据中可能出现的物体进行顺序编码得到。

3.根据权利要求1所述的基于场景图高阶语义的视觉关系检测方法，其特征在于，物体的位置是一个框，由两个点确定，分别为框的左上角和右下角，每个点包括横坐标和纵坐标的数值。

4.根据权利要求1所述的基于场景图高阶语义的视觉关系检测方法，其特征在于，所述对位置进行编码具体包括基于物体配对，将两个物体对应的检测框的中心点的差值和分别的高度宽度合并成一个特征向量，并使用一个可学习的线性层对其进行处理，得到最终的位置编码。

5.根据权利要求1所述的基于场景图高阶语义的视觉关系检测方法，其特征在于，所述层级语义聚类算法的具体过程包括对于所有数据集中出现过的类别名称，通过词空间模型转化为词向量，随后对词向量进行层次聚类，经过多次迭代之后，可以得到每个类别词向量所对应的一个大类词向量。

6.根据权利要求1所述的基于场景图高阶语义的视觉关系检测方法，其特征在于，所述语义编码具体包括通过隐空间编码层动态地对输入的高层语义特征进行二次编码，在二次编码中将图片中所有检测出来的物体都定义为一张全连接图的节点，并统计整个数据集中所有物体共同出现的概率作为节点之间的边，经过多层图卷积神经网络处理，得到输入图像中所有物体的具有上下文的高层语义特征。

7.根据权利要求6所述的基于场景图高阶语义的视觉关系检测方法，其特征在于，所述生成关系分类器权重具体包括根据物体配对中每次配对包含的两个物体的类别，对具有上下文的高层语义特征进行选择，针对每次配对，选择出与所处理的两个物体类别所对应的具有上下文的高层语义特征，将这两个具有上下文的高层语义特征进行合并，作为一个权重，最终得到关系分类器权重。

8.一种基于场景图高阶语义的视觉关系检测装置，其特征在于，包括处理器的存储器，所述存储器中存储有计算机程序，所述计算机程序可被处理器执行以实现如权利要求1-7中任一项所述的方法。

9.一种计算机可读存储介质，其特征在于,存储有可供处理器运行的程序，所述程序在被所述处理器运行的过程中能够实现如权利要求1-7中任一项所述的基于场景图高阶语义的视觉关系检测方法。