[发明专利]一种鲁棒的基于深度学习的连续情绪跟踪方法

权利要求书

1.一种鲁棒的基于深度学习的连续情绪跟踪方法，其特征在于，包括以下步骤：

1)构建训练样本并训练归一化模型和连续情绪跟踪模型；所述归一化模型和所述连续情绪跟踪模型采用深度神经网络实现；所述归一化模型用于处理二维图像中包括光照归一和姿态矫正在内的问题，用以提升识别过程中的鲁棒性；所述归一化模型采用基于Encoder和Decoder框架的深度学习模型，包括基于CNN或者RBM构建的Encoder-Decoder模型；Decoder的网络结构与Encoder相对称；模型训练时采用包含矫正图像任务和重建输入任务的多任务学习的损失函数；

2)获取表情图像，通过归一化模型将其转换为标准图像；

3)通过连续情绪跟踪模型并利用时序信息产生当前帧的标准图像的情绪跟踪结果；

4)重复步骤2)-3),直至完成全部情绪跟踪任务。

2.如权利要求1所述的方法，其特征在于，所述连续情绪跟踪模型采用利用时序信息的深度学习模型，结合当前输入帧和历史输入信息共同产生情绪跟踪的结果。

3.如权利要求2所述的方法，其特征在于，所述利用时序信息的深度学习模型包括3D-CNN、RNN、GRU、LSTM；若采用3D-CNN，则需要缓存历史输入帧，情绪跟踪时将当前帧和历史输入帧共同作为3D-CNN的输入；若采用包括RNN在内的时序记忆模型，则隐式地保存历史输入状态，输出当前帧的跟踪结果时，同时更新历史输入状态。

4.如权利要求1所述的方法，其特征在于，步骤2)中通过摄像头实时采集图像，并对采集的图像进行预处理，预处理过程包括人脸检测，裁剪检测到人脸区域，对比度归一并缩放到固定的大小。

5.如权利要求4所述的方法，其特征在于，预处理过程中进行人脸检测，如果人脸检测失败，则直接丢弃当前帧，不再对当前帧进行表情跟踪。

6.如权利要求1所述的方法，其特征在于，步骤2)中采用单个归一化模型同时完成对输入帧的光照和姿态的归一化。

7.如权利要求1所述的方法，其特征在于，步骤3)中采用连续情绪跟踪模型输出当前表情在连续情感空间中各维度的值，用于后续表情分类、预测。