[发明专利]一种基于深度学习的人群情绪识别方法

权利要求书

1.一种基于深度学习的人群情绪识别方法，其特征在于：

1.采用像素通道来处理视频的每一帧的像素信息；

2.采用光流通道来处理视频的叠加的光流信息；

3.采用显著图通道来处理视频的显著性信息；

4.采用加权平均的方法对多流神经网络的三个通道进行融合，得到多流神经网络；

该方法主要包括以下步骤：

A.多流神经网络的训练，其具体包括：

A1.将视频数据集分为训练集、测试集和验证集，并贴上预先定义好的几个情绪类别标签，通过预处理计算每个视频的像素信息、叠加的光流信息和显著性信息；

A2.采用目前图像识别领域典型的数据库ImageNet对多流神经网络模型进行预训练，然后使用步骤A1中的训练集和验证集对多流神经网络模型微调；

A3.训练时先将训练集和验证集视频的像素信息、叠加的光流信息和显著性信息分别输入三个通道训练CNN部分，然后将CNN部分提取的特征输入LSTM部分，完成整个网络的训练，保存生成的网络参数模型，以用于预测；

B.利用多流神经网络与训练好的网络参数模型进行人群情绪分类：

B1.提取步骤A1中生成的测试集视频的像素信息、叠加的光流信息和显著性信息，为分类做准备；

B2.利用多流神经网络和步骤A中生成的网络参数模型，以步骤B1中计算的视频的像素信息、叠加的光流信息和显著性信息作为输入，并融合三通道的分类结果，来预测该视频的人群情绪类别。

2.如权利要求1所述的基于深度学习的人群情绪识别方法,其特征在于步骤A1中的情绪类别标签包括bored、excited、frantic、relaxed。

3.如权利要求1所述的基于深度学习的人群情绪识别方法,其特征在于在步骤A中利用像素通道提取视频帧在空间维度上的颜色特征，利用光流通道提取视频在时间维度上的局部运动特征，利用显著图通道提取视频的视觉显著性特征。

4.如权利要求1所述的基于深度学习的人群情绪识别方法,其特征在于在步骤A1中预处理包括：分别对训练集、测试集和验证集提取视频中的像素信息、显著性信息、光流信息，然后叠加相邻10帧的光流信息取平均得到叠加的光流信息。

5.如权利要求1所述的基于深度学习的人群情绪识别方法,其特征在于：在步骤B中预测时对视频的像素信息、叠加的光流信息、显著性信息分别分类处理，然后对三个通道的分类结果采用加权平均的方法融合得到最终的人群情绪类别预测结果。