[发明专利]一种鲁棒的基于深度学习的连续情绪跟踪方法

摘要

本发明涉及一种鲁棒的基于深度学习的连续情绪跟踪方法，其步骤为：1)构建训练样本并训练归一化模型和连续情绪跟踪模型；2)获取表情图像并进行预处理，将预处理完成的表情图像送到训练好的归一化模型，得到标准光照和标准头部姿态的表情图片；3)将归一化后的标准图像作为连续情绪跟踪模型的输入，连续情绪跟踪模型自动提取输入表情相关的特征并根据时序信息产生当前帧的跟踪结果；重复步骤2)‑3)直至完成整个连续情绪跟踪流程。本发明采用基于深度学习的方法构建情绪识别模型实现连续情绪跟踪和预测，能够对光照和姿态变化具有鲁棒性，而且能够充分利用表情表达的时序信息，基于历史情绪特征更稳定地跟踪当前用户的情绪。

主权项

1.一种鲁棒的基于深度学习的连续情绪跟踪方法，其特征在于，包括以下步骤：/n1)构建训练样本并训练归一化模型和连续情绪跟踪模型；所述归一化模型和所述连续情绪跟踪模型采用深度神经网络实现；所述归一化模型用于处理二维图像中包括光照归一和姿态矫正在内的问题，用以提升识别过程中的鲁棒性；所述归一化模型采用基于Encoder和Decoder框架的深度学习模型，包括基于CNN或者RBM构建的Encoder-Decoder模型；Decoder的网络结构与Encoder相对称；模型训练时采用包含矫正图像任务和重建输入任务的多任务学习的损失函数；/n2)获取表情图像，通过归一化模型将其转换为标准图像；/n3)通过连续情绪跟踪模型并利用时序信息产生当前帧的标准图像的情绪跟踪结果；/n4)重复步骤2)-3),直至完成全部情绪跟踪任务。/n