[发明专利]一种基于深度学习的人群情绪识别方法

摘要

本发明提供了一种基于深度学习的视频人群情绪分析方法,主要涉及利用多流神经网络对视频中人群情绪进行分类。该方法包括：构建多流神经网络(像素，光流，显著性)，并利用该网络并行提取视频序列的像素信息，叠加光流信息，显著性信息中的特征，最后融合这三种特征，得到人群情绪的分类。本发明充分发挥深度学习的自我学习能力，避免了人工提取特征的局限性，使得本发明方法的适应能力更强。利用多流深度学习网络的结构特征，并行训练及预测，最后融合多流子网络的分类结果，提高了准确率及工作效率。

主权项

1.一种基于深度学习的人群情绪识别方法，其特征在于：/n1.采用像素通道来处理视频的每一帧的像素信息；/n2.采用光流通道来处理视频的叠加的光流信息；/n3.采用显著图通道来处理视频的显著性信息；/n4.采用加权平均的方法对多流神经网络的三个通道进行融合，得到多流神经网络；/n该方法主要包括以下步骤：/nA.多流神经网络的训练，其具体包括：/nA1.将视频数据集分为训练集、测试集和验证集，并贴上预先定义好的几个情绪类别标签，通过预处理计算每个视频的像素信息、叠加的光流信息和显著性信息；/nA2.采用目前图像识别领域典型的数据库ImageNet对多流神经网络模型进行预训练，然后使用步骤A1中的训练集和验证集对多流神经网络模型微调；/nA3.训练时先将训练集和验证集视频的像素信息、叠加的光流信息和显著性信息分别输入三个通道训练CNN部分，然后将CNN部分提取的特征输入LSTM部分，完成整个网络的训练，保存生成的网络参数模型，以用于预测；/nB.利用多流神经网络与训练好的网络参数模型进行人群情绪分类：/nB1.提取步骤A1中生成的测试集视频的像素信息、叠加的光流信息和显著性信息，为分类做准备；/nB2.利用多流神经网络和步骤A中生成的网络参数模型，以步骤B1中计算的视频的像素信息、叠加的光流信息和显著性信息作为输入，并融合三通道的分类结果，来预测该视频的人群情绪类别。/n