[发明专利]一种基于注意力机制多尺度网络的自然场景情绪识别方法

权利要求书

1.一种基于注意力机制多尺度网络的自然场景情绪识别方法，其特征在于，包括如下步骤：

a.将人物图像以及去除人物的场景图像送入双分支网络进行训练；

b.在上述a中双分支网络，第一分支输入人物图像，使用特征提取网络和姿态注意力机制得到人物特征，第二分支输入场景图像，使用多尺度网络和空间注意力模型提取图像的全局特征；

c.对上述b中的双分支网络进行融合分类，最终得到情绪识别的结果；

该方法主要包括以下步骤：

(1)静态图像I通过人物边界框处理为人物图像I_B以及去除人物的场景图像I_C，计算公式为：其中bbox_IB表示主要人物所在区域；

(2)I_B送入第一分支的卷积层，池化层，全连接层进行特征提取，得到个体的特征向量f_B’，同时I_B经过姿态注意力机制得到个体的情绪置信度λ；

(3)I_C送入第二分支通过多尺度网络得到场景的特征向量f_C1，多尺度网络中的特征图通过空间注意力模型，得到特征向量f_C2；

(4)对上述(2)和(3)得到的特征向量进行进行融合与分类，得到最终的情绪识别的结果。

2.如权利要求1所述的一种基于注意力机制与多尺度网络的自然场景情绪识别方法，其特征在于步骤(2)中卷积层，池化层，全连接层构成的特征提取网络使用ResNet-50模型实现，使用1个全局平均池化和2个卷积层构建姿态注意力机制，第一分支的特征向量表示为f_B＝λ·f_B’。

3.如权利要求1所述的一种基于注意力机制与多尺度网络的自然场景情绪识别方法，其特征在于步骤(3)中多尺度网络由3个尺度的特征图{F₁，F₂，F₃}构成，分别对应I_C的{8,16,32}下采样倍数，3个尺度的特征图使用ResNet-18模型进行提取，空间注意力模型使用3个卷积层、1个平均池化层和2个批量标准化构建，第二分支的特征向量表示为f_C＝cat[f_C1，f_C2]，其中cat表示特征向量在最后一维进行拼接。

4.如权利要求1所述的一种基于注意力机制与多尺度网络的自然场景情绪识别方法，其特征在于步骤(4)中使用早期融合对双分支网络的特征向量直接拼接，使用全连接层进行情绪的分类识别。