[发明专利]一种基于多层次特征融合的社交关系识别方法

权利要求书

1.一种基于多层次特征融合的社交关系识别方法，其特征在于：

a.通过全连接网络、卷积神经网络以及图神经网络提取与社交关系识别相关的各层次特征；

b.构建非欧氏空间的动态的社交关系图，并通过图神经网络推理社交关系之间的逻辑关系；

c.以结点的形式引入场景特征- 的社交关系图，通过消息传递的方式将场景信息纳入社交关系的推理中，以增强社交关系识别的合理性；

该方法主要包括以下步骤：

(1)数据处理与增强：对作为输入的两人物边界框区域和人物对联合区域统一裁剪为224×224的尺寸，对整张图片裁剪为448×448的尺寸，并对裁剪后的图片做归一化和随机水平翻转；另外，将两人物边界框的位置信息和面积信息归一化后作为一路输入；

(2)特征提取：通过所述结点生成模型中的一层全连接层、两个权重共享且预训练的ResNet-101网络、一个参数独立的ResNet-101网络、一个预训练的ResNet-50网络依次提取人物对的相对位置特征、人物对中每一个人的特征、人物对共同区域的特征以及整幅图的场景特征；

(3)结点生成：用一层全连接层融合人物对的相对位置特征、人物对中每一个人的特征以及人物对共同区域的特征以形成社交关系结点，用ResNet-50网络提取到的场景特征作为场景结点；需要说明的是，一张RGB图像中每两个人形成一个社交关系结点，但只存在一个场景结点；

(4)图构建与推理：以全连接的方式连接步骤(3)生成的社交关系结点和场景结点来构建引入场景的社交关系图，并通过门控图神经网络对图进行推理，充分挖掘社交关系之间的逻辑关系和传递场景结点蕴含的信息到关系结点；

(5)社交关系分类：移除场景结点，通过全连接层对每个社交关系节点进行分类；

(6)模型训练：通过(2)-(5)构建的模型的训练分为两步，第一步对用于生成社交关系结点的各路网络做整体训练，删除分类层后保存参数；第二步冻结社交关系结点和场景结点生成网络的参数，对整个网络进行训练，保存整体模型的参数用于社交关系识别。

2.如权利要求1所述的基于多层次特征融合的社交关系识别方法，其特征在于在步骤(2)和(4)中，通过全连接层和ResNet网络提取低层次的人物对相关特征和高层次的场景语义特征，另外通过构建社交关系图的形式形成社交关系之间的逻辑关系，即中层次的社交关系之间的特征。

3.如权利要求1所述的基于多层次特征融合的社交关系识别方法，其特征在于在步骤(4)中，根据每张RGB图像中人物数的不同，形成不同数量的社交关系结点和一个场景结点，动态构建非欧氏空间的社交关系图，并通过专门为图结构数据设计的门控图神经网络对图进行推理，以挖掘社交关系之间的逻辑关系和传播场景结点蕴含的信息。

4.如权利要求1所述的基于多层次特征融合的社交关系识别方法，其特征在于在步骤(4)中，以结点的形式引入场景特征，并通过边与社交关系结点建立联系，在消息传递的过程中将场景信息融入到社交关系结点中，使最后的分类更具有合理性。