[发明专利]基于残差注意力机制的面部表情识别方法及系统

说明书

本发明公开了一种基于残差注意力机制的面部表情识别方法及系统，属于计算机视觉领域，包括：提取包含人脸区域的目标框并进行特征归一化处理，之后利用面部表情识别模型进行面部表情识别；面部表情识别模型包括：一个降采样特征提取结构，用于通过小卷积块对目标框进行特征提取；多个级联的残差注意力结构，分别用于通过深度可分离卷积结构对输入的特征图进行特征提取，以得到精细特征图，并在通道域上对输入的特征图提取感兴趣特征，以得到关键特征图，并将得到的特征图点乘后与精细特征图叠加为残差特征图；以及一个融合损失层，用于获取最后一个残差特征图的损失值，从而预测面部表情类别。本发明能够提高面部表情识别的识别精度和识别速度。

技术领域

本发明属于计算机视觉领域，更具体地，涉及一种基于残差注意力机制的面部表情识别方法及系统。

背景技术

面部表情在人类交流中起着非常重要的作用，尤其是在非语言交流中，人类认知情绪通常是通过识别面部表情来进行的。如果计算机能够通过用户的面部表情来感知和理解用户的意图，那么系统就可以根据感知到的情况提供建议和意见来帮助用户，因此，面部表情识别在计算机视觉领域和人工智能领域获得了广泛的关注。

虽然人类几乎可以不费任何力气或延迟就能识别面部表情，但机器对表情的可靠识别仍然是一个挑战。为了使计算机像人类那样具有理解和表达情感的能力，从而让机器能更好地服务人类日常生活，如何高计算机对表情识别的准确度，是表情识别系统中需要解决的关键问题。

随着大数据时代的到来，在并行计算领域，与以前使用的CPU相比，GPU使得计算性得到了极大的提升。当前GPU的计算性能已经超CPU 50倍并且在未来极有可能更高。计算机的运算能力极大地增强，侧面反映了利用大规模图像数据训练复杂深度网络的需求在快速增长。在相对较小的面部表情数据集上直接训练深度网络很容易导致过拟合，为了缓解这个问题，许多面部表情识别方法会在大数据集上先预训练网络，或者在已经训练好的网络，如AlexNet，VGG，VGG-face或GoogleNet等网络上进行微调。预训练模型一般采用分类网络或人脸识别网络，然后固定某些层训练其它层直接进行微调训练或者不同层采用不同的数据集对网络进行微调。微调训练网络对表情类别特征的分辨度是不够的，一定程度上限制了最后的识别精度，而且这些微调训练网络在训练好之后，所包含的参数可能多达数百兆，对需要实时运行的任务会带来相当大的压力。此外，现有的面部表情识别网络大多专注于单一任务，只学习对表达敏感的特征，并不考虑其他潜在因素(如头部姿势、光照、面部形态等)之间的相互作用，导致了这些面部表情识别方法的泛化能力较弱。有些卷积网络(如MSCNN网络)引入了多任务学习机制，可以从其他任务中学习额外的信息，这样能够提高面部表情识别网络的泛化能力，但是由于采用多层卷积提取特征，增加了最后得到的表情识别检测器的内存消耗和计算用时，也无法满足实时性的要求。总的来说，现有的面部表情识别方法的识别精度和识别速度仍然需要进一步提高。

发明内容

针对现有技术的缺陷和改进需求，本发明提供了一种基于残差注意力机制的面部表情识别方法及系统，其目的在于，提高面部表情识别的识别精度和识别速度。

为实现上述目的，按照本发明的第一方面，提供了一种基于残差注意力机制的面部表情识别方法，包括：

(1)从待识别的目标图像中提取包含人脸区域的目标框，并对所提取的目标框进行特征归一化处理；

(2)利用已离线训练好的面部表情识别模型对特征归一化之后的目标框进行面部表情识别，从而识别出目标图像中人脸的面部表情类别；