[发明专利]一种基于BN-inception双流网络的情绪识别方法

摘要

本发明提供了一种基于姿态信息的个体情绪识别方法，主要涉及利用深度学习方法研究个体姿态以判断个体的情绪。该方法包括：首先引入基于BN‑inception双流网络模型，通过对原始图像和光流图像的学习，提取输入序列的静态和动态特征；然后在双流网络的基础上加入空间金字塔池化(Space Pyramid Pooling,SPP)，使图像以原始尺寸输入网络，从而减少因变形对模型性能造成的影响。本发明首先利用双流网络对输入序列进行时空特征的学习，并引入金字塔池化，以保留视频帧的原始信息，使得网络能有效地学习个体姿态情绪的特征，得到较高的识别率。

主权项

1.一种基于BN‑inception+SPP双流网络的个体情绪识别方法，其特征在于：a.将个体姿态数据集划分为四个情绪类别：无聊(bored),激动(excited),生气(frantic),放松(relaxed)；b.在BN‑inception双流网络的全连接层之前加入空间金字塔池化(Space Pyramid Pooling,SPP)，对数据集分别进行时空网络的训练；该方法主要包括以下步骤：(1)采用文献[1]的光流算法处理数据集生成对应的光流图像序列，表示个体姿态的运动特征；(2)将数据集划分为训练集、验证集和测试集三部分，并给定每个序列的情绪类别；(3)引入基于BN‑inception的双流卷积神经网络模型，并在其全连接层之前加入SPP层优化BN‑inception网络，利用训练集和验证集进行时空网络的训练，利用测试集进行验证；(4)将基于BN‑inception+SPP的空间流和时间流两通道网络进行平均融合，得到测试集上的准确度ACC(Accuracy)和宏平均精确度MAP(Macro Average Precision)。