[发明专利]一种基于DCNNs-LSTM模型的表情追踪方法

摘要

本发明属于表情追踪技术，具体的说是一种基于DCNNs‑LSTM模型的表情追踪方法。本发明考虑到卷积神经网络在图像特征提取上的有效性及长短期记忆网络在处理存在时间序列信息上的优势，提出一种结合DCNN和LSTM的深度神经网络模型用于处理面部68个特征点及眼神、头部特征信息的提取。数据集囊括了老年、青年、少年及中外等不同的人脸图像及对应的标签文件，训练好的模型可同时实现对面部、眼神及头部三维特征信息的提取。本发明将提取出的三维特征信息做三角网格重建并计算网格各顶点的欧氏距离，由数据转换模型将欧氏距离转变为动画人物可识别的形变系数，实现一种表情、头部迁移效果。

主权项

1.一种基于DCNNs‑LSTM模型的表情追踪方法，其特征在于，包括以下步骤：S1、生成训练数据集：在包含人脸的视频中，标注出视频中人脸的面部68个特征点的3D坐标、左右两眼的眼神位置以及头部偏移的3D信息，将视频按单帧切成单张图片，标注信息也按单帧进行封装，获得该人脸在时间上连续的图片集；将从多个视频中提取出的多个人脸图片集作为训练数据集；S2、结合深度卷积神经网络DCNN和LSTM网络共同提取面部及头部、眼神特征，其中，DCNN用于学习空间特征，LSTM用学习时间特征，具体为：对同时输入的多张相邻帧图片，由对应的多个DCNN同时提取相应图片的人脸特征信息，将DCNN的输出值作为LSTM网络的输入值，在LSTM层中，多个时刻的输出值将用于下一时刻的特征值，由输出门决定网络的输出值，预测结果为213个坐标值，包括68个特征点的3D坐标、左右两眼的眼神3D坐标和头部3D坐标；采用步骤S1获得的训练数据集对DCNNs‑LSTM模型进行训练；S3、采用训练好的DCNNs‑LSTM模型提取视频中人脸的面部、眼神及头部3D信息；S4、对模型提取的三维坐标做网格重建并经数据转换模型生成形变系数，用于对人脸3D模型进行控制，实现表情追踪。