[发明专利]基于联合学习与光流估计的面部动作单元识别方法及装置

说明书

本发明公开了一种基于联合学习与光流估计的面部动作单元识别方法及装置，先从视频数据中抽取模型训练所需要的原始图像对组成训练数据集，再对原始图像对进行预处理得到扩增图像对，再构建卷积神经网络模块I提取扩增图像对的多尺度区域特征，再构建卷积神经网络模块II提取扩增图像对的静态全局特征，再构建卷积神经网络模块III提取扩增图像对的光流特征，最后构建卷积神经网络模块IV融合静态全局特征和光流特征进行面部动作单元识别。本发明采用端到端的深度学习框架联合学习动作单元识别和光流估计，利用任务间的关联性促进动作单元识别，能够有效识别面部肌肉在二维图像中的运动情况，实现统一的面部动作单元识别系统构建。

技术领域

本发明涉及一种基于联合学习与光流估计的面部动作单元识别方法和装置，属于计算机视觉技术。

背景技术

光流估计是计算机视觉中一个基础性的研究任务，它是连接图像与视频的桥梁与纽带。其核心思想是给定前后两帧图像，估计出逐像素的对应关系。这也可以近似理解为3D物体在2D图像平面上的投影运动场。光流法在行为理解、视频处理、运动预测、多视角3D重建、自动驾驶、即时定位与地图构建(SLAM)中均发挥着重要作用。

为了更精细地研究人类面部表情，美国著名情绪心理学家Ekman等于1978年首次提出了面部动作编码系统(Facial Action Coding System，FACS)，又于2002年作了重要改进。面部动作编码系统根据人脸的解剖学特点划分成若干既相互独立又相互联系的面部动作单元(Action Units，AU)，通过这些面部动作单元的动作特征及其所控制的主要区域可以反映出面部表情。

现有的AU识别方法可简单分为传统方法和深度学习方法两大类。传统AU识别方法一般可分为预处理、特征提取和分类器学习3个步骤，其中：预处理主要包括人脸检测、关键点定位、面部配准、尺寸归一化等操作；特征提取即从人脸图像中提取具有较强AU判别性的特征；分类器训练即通过已获得的特征训练分类器识别AU是否出现。

随着计算机技术和信息技术的发展，深度学习技术得到了广泛的应用。在AU识别领域，基于深度学习模型研究AU识别已成为主流。目前，AU识别主要分成了两条研究路线：区域学习与AU关联学习。若不考虑AU之间的关联，一般来说仅有其对应面部肌肉所在的几块稀疏区域对它的识别是有贡献的，其他区域则不需要过多关注，因此找到那些需要关注的区域并加以重点学习才能更好地进行AU识别，专注于这一问题的解决方案一般被称为区域学习(Region Learning，RL)。此外，AU是在面部肌肉解剖学的基础上定义的，描述了一块或几块肌肉的运动，某些肌肉在运动过程中会牵动几个AU同时出现，因此AU之间存在一定程度的相关性，显然，AU之间的关联性信息会有助于模型识别性能的提升，因此如何挖掘AU之间的关联并基于相关性提升AU模型识别性能的解决方案一般被称为AU关联学习。

尽管面部动作单元的自动识别取得了令人印象深刻进展，但目前基于CNN的AU识别方法只能提取图像中的静态特征，不关心时间域上的信息。此外，目前的AU识别研究局限于强度显著的AU，按照FACS的定义，AU的强度由弱到强分为A、B、C、D、E五个级别，目前的AU识别实验中往往使用强度大于B或C的样本作为正样本，其他强度视为负样本，对于弱强度AU的识别研究还不多。由于弱强度AU与微表情紧密关联，面部动作微小且持续时间短，使得其识别准确率还不高，有进一步提升的空间。

发明内容

发明目的：为了克服现有技术中存在的不足，本发明提供一种基于联合学习与光流估计的面部动作单元识别方法和装置，通过卷积层自动提取图像中的静态特征，即使在传统模型通用性不好、识别率不高的情况下，本发明也能够展现出更强的稳健性，显著提高了模型的表达能力。此外，本发明能够通过光流法提取动态时序信息，直观地展现面部肌肉在二维图像中的运动过程，有效识别出微小的肌肉运动，能够提高AU识别准确率，利用任务间的关联性促进动作单元识别，构建统一的面部动作单元识别系统。

技术方案：为实现上述目的，本发明采用的技术方案为：