[发明专利]双通道微表情识别方法、系统、存储介质、计算机设备

说明书

本发明图像识别技术领域，公开了一种双通道微表情识别方法、系统、存储介质、计算机设备，包括：对数据集进行标注、预处理；提取放大后的基于几何信息的人脸关键点区域，得到特征矩阵；使用depthwise卷积对得到的特征矩阵进行卷积，进行初步特征提取；利用transformer的encoder进行基于自注意力的特征学习；利用图卷积网络进行动作单元信息特征的学习；将基于自注意力的特征学习结果以及图卷积网络动作单元信息特征的学习结果进行融合，并利用softmax进行分类，即可得微表情识别结果。本发明解决了几何特征提取过程中的空间信息损失的问题，提高了微表情识别的准确率。

技术领域

本发明属于图像识别技术领域，尤其涉及一种双通道微表情识别方法、系统、存储介质、计算机设备。

背景技术

目前：微表情是人们在无意识状态下，其面部肌肉的微弱运动，并且持续时间短。微表情可以展示人们内心的真实情绪，因此常被应用于心理疾病的诊断和重大案件的审问等重要场合。微表情的研究通常分为检测和识别两个方面，微表情识别通常分为预处理、特征提取和分类识别三个步骤。本专利在微表情识别领域，提出了一种新颖的解决方案。

近年来，深度学习的兴起，给计算机视觉的发展带来了极大的推动，在微表情识别领域也是如此。目前的技术，在一系列预处理操作之后，会先使用光流法，去提取微表情的特征，再设计一种高效的神经网络(通常是卷积神经网络、循环神经网络和图卷积神经网络等)完成特征的学习和分类任务。

微表情的变化是由面部肌肉的微小运动引起，同时肌肉运动体现在图像上的变化主要是几何变化，相比之下，纹理上的变化更加微弱。上文提及的光流法是侧重提取微表情的面部几何信息，而基于LBP的方法是侧重提取微表情的面部纹理信息。因此基于LBP的特征提取方法在识别效果上较差。但是，由于光流法提取特征是手工计算的结果，与深度学习的方法相比，缺乏自适应性，在深度学习盛行的今天，存有很大的改进空间。在本发明之前的研究中，从深度学习的角度提出过一个方法，通过迁移学习将一个基于深度学习的运动放大网络引入微表情的放大步骤中，并且从中间层将放大后的几何特征抽出，作为进一步特征提取和学习的网络输入。但是此方法在后续地过程中粗略地将二维特征压缩为一维向量，忽略了空间信息的损失。因此存在改进的空间。

在面部动作编码系统(Facial action coding system)中，动作单元(ActionUnits)将表情的发生解释为基于肌肉的面部运动，每一个动作单元对应一个特定区域的面部运动，不同类别的表情对应不同动作单元的组合，因此动作单元中包含的信息可以对表情识别进行协助。微表情作为面部表情的一种，同样也是适用的，尤其在基于几何特征的微表情识别方法中，加入动作单元中的信息，会对识别带来很大的帮助。目前这个方向的研究还比较缺乏，仅有的少许文献通常将微表情识别分为两个通道，一个通道一般是常见的微表情的特征提取方法，另一个通道则包含动作单元信息。在动作单元这个通道中，将动作单元用图卷积神经网络或者知识蒸馏的网络结构方式引入，最后会通过特定的方式进行两个通道的融合。但是上述方法中，都存在一个问题，在第一个通道中，并没有对微表情的几何信息特征进行提取或者采用几何特征信息作为网络通道的输入，同时几何信息特征对于微表情来说非常重要，并且将几何信息特征与动作单元信息进行融合会更加合理。因此，此处也存在改进的空间。

通过上述分析，现有技术存在的问题及缺陷为：现有的基于动作单元的微表情识别方法并没有对微表情的几何信息特征进行提取或者采用几何特征信息作为网络通道的输入，几何特征提取过程中存在空间信息损失，导致微表情识别结果不准确。

解决以上问题及缺陷的难度为：难度在于如何通过深度学习来提取几何特征和如何在二维矩阵转换为一维矩阵时，避免空间信息的丢失。

解决以上问题及缺陷的意义为：使用一种基于深度学习的放大网络的中间层所提取的几何特征作为输入，在放大微表情的同时也提取了几何特征，具有更好的自适应性；使用depthwise对二维的特征先进行卷积再变换成一维向量，克服提取特征时的空间信息丢失问题，可以保留更多有助于表示微表情细节的特征；以上两点都有助于提升微表情识别的性能。