[发明专利]一种基于深度学习的视频人群情绪分析方法及系统

权利要求书

1.一种基于深度学习的视频人群情绪分析方法，其特征在于，所述方法包括：

获取待分析的视频流数据，利用高斯降噪方法对视频流中的每一帧图片进行降噪处理，并利用鬼影消除算法对视频帧图片进行鬼影消除处理；

利用尺度自适应的人群姿态获取算法提取视频帧图片中人群的姿态特征；

利用人脸检测算法检测视频帧图片的人脸，并对检测到的人脸进行裁剪，得到人脸图像；

利用表情识别算法对人脸图像进行特征提取，提取到人脸表情特征；

根据提取的人群姿态特征以及人脸表情特征，利用情绪识别模型对视频中人群进行情绪分析处理；

所述利用情绪识别模型对视频中人群进行情绪分析处理，包括：

1)将人群姿态特征和人脸表情特征拼接为情绪特征F：

F＝{(x₁,y₁,t₁),(x₂,y₂,t₂),…}

其中：

x_i表示在t_i时刻的人群姿态特征；

y_i表示在t_i时刻的人脸表情特征；

2)利用情绪识别模型提取训练的情绪识别特征；

3)将情绪特征F输入到情绪识别模型中：

其中：

N表示情绪识别模型中卷积层的数量；

W_i表示第i层卷积层的权重；

b_i表示第i层卷积层的偏置向量；

y表示情绪识别特征；

将情绪识别模型转换为卡尔曼滤波模型：

其中：

F(k)表示卡尔曼滤波系统的N个状态；

X(k-1)表示状态转移矩阵；

r(k)表示系统噪声；

由k-1时刻的估计值和状态转移矩阵X(k-1)估计下一时刻预测值

由k-1时刻误差协方差矩阵P(k-1|k-1)和噪声方差矩阵Q(k-1)计算得到下一时刻预测误差协方差矩阵P(k|k-1)：

P(k|k-1)＝X(k-1)P(k-1|k-1)X^T(k-1)+Q(k-1)

计算增益矩阵：

M(k)＝P(k|k-1)[P(k|k-1)+X(k-1)]^T

计算得到时刻k的状态估计值

重复上述步骤，最终计算得到的状态估计值即为情绪识别特征；

4)将情绪识别特征与预提取到的训练情绪识别特征进行特征匹配，选取匹配度最高的训练情绪识别特征所对应的情绪标签作为识别到的情绪，所述特征匹配算法为余弦相似度算法。