[发明专利]一种基于DCNNs-LSTM模型的表情追踪方法

说明书

本发明属于表情追踪技术，具体的说是一种基于DCNNs‑LSTM模型的表情追踪方法。本发明考虑到卷积神经网络在图像特征提取上的有效性及长短期记忆网络在处理存在时间序列信息上的优势，提出一种结合DCNN和LSTM的深度神经网络模型用于处理面部68个特征点及眼神、头部特征信息的提取。数据集囊括了老年、青年、少年及中外等不同的人脸图像及对应的标签文件，训练好的模型可同时实现对面部、眼神及头部三维特征信息的提取。本发明将提取出的三维特征信息做三角网格重建并计算网格各顶点的欧氏距离，由数据转换模型将欧氏距离转变为动画人物可识别的形变系数，实现一种表情、头部迁移效果。

技术领域

本发明属于表情追踪技术，具体的说是一种基于DCNNs-LSTM模型的表情追踪方法。

背景技术

随着硬件、软件及人工智能多个领域的迅速发展，面部表情以及眼神、头部追踪技术逐步成为视频图像研究领域的热门方向，预示着未来人机交互的新风向。在虚拟现实领域，通过眼神追踪技术追踪用户的注视点，调整焦距以实现虚拟场景中的景深效果。在游戏世界中，可根据用户的表情、肢体动作控制游戏角色，提高游戏的沉浸感。此外，在应用心理学、身份鉴定、安全访问控制等领域，该技术也具有较大的应用价值及市场前景。可见，面部表情及眼神、头部追踪技术具备非常实际的研究意义。

面部特征点以及头部、眼神的运动信息的获取是追踪技术的关键环节，提取信息的精准度直接影响着追踪效果。主要实现过程为：由设备或原路径输入人脸信息，对输入人脸做灰度转换、降噪、检测等处理后，由特征定位技术预测并提取输入人脸的五官、轮廓、头部及眼神位置的特征信息，将提取出的特征信息联合其他相关技术实现多样的追踪效果。不同的特征定位算法主要从定位准确度(accuracy)、运行速度(speed)以及鲁棒性(robustness)三个方面进行评估。

目前的特征定位技术主要分为两种：

1)传统方法：使用级联回归算法首先构建初始人脸，然后由多个弱回归器训练逐步逼近真实的人脸形状以实现面部特征定位，如果构建的初始人脸与真实人脸偏差过大，后续的回归优化也会出现较大误差。另外，通过结合头部姿势以及眼珠定位预测眼神，由于头部运动的复杂性，因此需要多个相机进行多角度拍摄，或者使用复杂的人脸模型，且最终预测结果受环境局限性以及头部、眼珠信息的准确度影响较大。

2)基于深度学习的方法：收集并准备人脸数据集，搭建实现面部特征定位以及头部、眼神预测的神经网络进行训练即可。由于头部及眼神预测存在时序关联，目前主要运用递归神经网络实现预测追踪，同时可结合其他神经网络模型做特征定位。该方法主要取决于训练数据的预处理及网络模型的搭建与优化，不需要复杂的输入设备，由于以整张人脸为输入，避免了初始人脸形状所带来的误差。此外，眼神估计的准确度不再受头部姿势及眼珠定位的影响。因此，目前的研究大多是基于深度学习的方法来实现特征定位。

发明内容