[发明专利]一种人脸面部动作单元强度回归方法、装置和介质

说明书

本发明公开了一种人脸面部动作单元强度回归方法、装置和介质，本发明属于图像处理技术领域，该方法包括：步骤S1，通过分层与多尺度区域学习提取输入人脸图像序列的多尺度的局部时空特征；步骤S2，在多尺度局部时空特征图上执行全局时空特征学习；步骤S3，根据全局时空特征得到代表人脸不同区域的k个局部时空特征，并针对不同的面部动作单元执行单独的局部关系学习，得到局部关系特征向量；步骤S4，通过一个两层的全连接网络，根据局部关系特征向量执行面部动作单元强度回归。如此，通过引入分层与多尺度的区域学习，能够很好地适应分布在人脸不同区域并具有不同尺度的AU，提升网络对面部AU强度回归的性能。

技术领域

本发明涉及图像处理技术领域，具体涉及一种人脸面部动作单元强度回归 方法、装置和介质。

背景技术

人脸面部动作单元强度回归属于情感计算(Affective Computing)领域， 而情感计算最初由Picard教授于1997年提出，其表示随着计算机技术的发展， 计算机已经开始具备表达和识别情感的能力，并且可能很快就会具备“具有情 感”的能力。而正如神经学研究所表明的那样，情感在人类认知和感知中起着 重要的作用，所以情感计算不仅能使计算机更好地协助人类，还能增强计算机 的决策能力。具体来说，情感计算是指与情感相关，来源于情感或能够对情感 施加影响的计算。情感计算的应用非常广泛，涉及诸如学习、信息检索、通信、 娱乐、健康以及交互等诸多领域。

情感计算的一个基本问题就是情感识别。其目标就在于识别面部动作的出 现或其所表达的情绪。人脸面部表情的呈现离不开面部肌肉的驱动，所以为了 探究不同的面部肌肉动作和不同的表情之间的对应关系，心理学家Paul Ekman 及其工作伙伴WallaceFriesen通过观察和生物反馈创制了面部动作编码系统 (FACS)。他们根据人脸的解剖学特点，将其划分成若干既相互独立又互相联 系的动作单元(AU)，并分析了这些AU的运动特征及其所控制的主要区域以 及与之相关的表情。现如今广泛使用的FACS于1978年首次发布，后在2002 年进行了实质性的更新。FACS包含了多个面部动作单元(Action Unit,AU)， 每一个AU都编码了某一面部区域的构型信息，例如AU 12为Lip Corner Puller，其编码了唇角附近的构型信息。

情感识别系统的研究经过了多年的发展已经取得了很好的成果。其中，自 动面部AU检测和强度估计成为了计算机视觉领域一个主要的问题并在许多 领域有着诸多应用。例如，在健康医疗方面，可以帮助医生了解病人的心理状 态；在人机交互方面，可以帮助机器理解人的情感，丰富人机交互的内容；在 教育方面，可以帮助老师了解学生的学习状态以及效果；此外，在广告、娱乐 等方面也有着多种多样的应用以及广阔的前景。自动面部AU检测和强度估计 已经经过了数十年的研究，众多研究者已经提出了许多非常优秀的方法。这些 方法可以大致分为传统方法和深度学习方法。其中传统方法一般利用人工定义 特征表示人脸图像，再通过分类器进行AU识别。而随着多年的发展，以卷积 神经网络(Convolutional Neural Network,CNN)为代表的深度学习方法展示了 非常强大的力量。近些年来自动面部AU检测方面的工作已经取得了相当不错 的成果，但更加精准的AU检测以及AU强度回归仍有很大的研究空间。

综上所述，研究更加精准的AU连续强度值回归方法显得更加重要。因此， 亟需一种新的人脸面部AU强度回归方法来进一步深入人脸相关的情感计算 研究。

发明内容

为此，本发明提供一种人脸面部动作单元强度回归方法，以解决现有技术 中的上述问题。

为了实现上述目的，本发明提供如下技术方案：

根据本发明的第一方面，一种人脸面部动作单元强度回归方法，包括：

步骤S1，通过分层与多尺度区域学习提取输入人脸图像序列的多尺度的局 部时空特征；

步骤S2，在所述多尺度局部时空特征图上执行全局时空特征学习；