[发明专利]一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法

说明书

技术领域

本发明涉及一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法，属于深度学习和模式识别的技术领域。

背景技术

微表情表达了人试图掩盖与隐藏的真实情感，是一组时间连续的图像序列，持续周期一般在250ms～500ms之间，对微表情的研究能帮助揭露特征场景下人的心理变化，例如，揭露犯人谎言，评估人的内心情绪状态，进而促进犯罪学、心理学等方面的发展。与表情相比，微表情识别更加具有挑战性。首先，不同于表情，微表情用一段图像序列共同代表一个情绪标签，但持续时间较短(通常小于500ms)，如果采用60帧相机录制微表情片段，一段有效的微表情片段最多为30帧。其次，微表情变化细微，在一段微表情中很难用肉眼观察到帧与帧之间的区别，因此对微表情的特征提取不但需要考虑时间和空间三个维度的信息，还要使所提取特征对微表情的细微变化具有鲁棒性。最后，目前用于微表情识别研究的数据集数量匮乏，与表情数以万计的数据量相比，微表情仅有为数不多的样本数量，这其中包含CASME1、CASME2、SMIC等已有的数据集，这显然不足以支持后续微表情识别的研究验证。

目前，微表情识别研究方法主要集中在传统的机器学习领域中，但已有的微表情识别方法与表情识别相比，识别率普遍不高而不能达到实际的应用要求，提高微表情识别率是一项非常具有挑战性且具有非凡意义的任务。

如何提取时空三维的特征描述子，以及寻找帧与帧之间的细微变化是微表情识别的所面临的主要困难，常见的提取时空特征的方法主要是将传统的二维特征提取算法拓展到三维领域，例如三正交平面局部二值模式(LBP-TOP)、3D方向梯度直方图(3DHOG)等就是在三个维度分别提取LBP或者HOG特征，然后用支持向量机(SVM)或者k-means进行分类，这样做虽然可以提取时间信息，但是，所提取的特征并不能很好地代表帧之间的细微变化，另一种方法便是提取光流特征，具体的就是将一段微表情的每一帧都与第一帧计算光流变化，所得到的特征能反映帧与帧之间的差距，但是由于计算量偏大等问题不够实用。近几年卷积神经网络的出现，为计算机视觉领域带来新的活力，实际上卷积神经网络已经使行为识别、人脸识别、语义分割等研究进入新的阶段，并且取得了非常显著的效果。为了解决微表情识别的问题，卷积神经网络似乎是一个很好的工具，然而，卷积神经网络需要用较高数量的数据集进行训练，才能获取具有代表性的特征，否则就会造成过拟合等问题，而微表情数据集仅有少于1000左右的样本，不足以进行卷积神经网络训练。

发明内容

针对现有技术的不足，本发明提供了一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法。

发明概述：

一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法，包括微表情样本处理、跨模态‘宏to微’(CM-M2M)转换模型训练和微表情识别。

本发明提供了一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法，为了增加可训练样本的数量，本发明根据微表情和宏表情的关联，将宏表情作为正负样本与微表情组成元组对来训练微表情。为了在提取全局特征的同时保留微表情局部信息，本发明提供了CM-M2M的卷积神经网络模型，并用时空全卷积网络提取人脸重要AU的位置并将其输出作为局部信息，来增强特征对AU的鲁棒性。最后，为了将微表情和宏表情区分开以提取微表情特有的特征，本发明提供了跨模态元组损失函数。

本发明的技术方案如下：

一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法，包括：

A、微表情样本处理

1)对微表情数据集样本和宏表情数据集样本进行预处理；

2)构建跨模态元组损失函数的样本对；

为了增加可训练样本的数量，本发明根据微表情和宏表情的关联，将宏表情作为正负样本与微表情组成元组对来训练微表情。

B、跨模态‘宏to微’转换模型训练

3)训练AU检测网络，初始化AU检测网络参数，以基于时空全卷积层的AU检测网络训练一个柔性最大值损失函数Softmax Loss Function；

4)固定AU检测网络参数，初始化跨模态‘宏to微’转换模型参数，训练跨模态‘宏to微’转换模型，通过训练同时减少一个跨模态元组损失函数和一个柔性最大值损失函数的值；

C、微表情识别

根据训练好的卷积神经网络模型，初始化测试参数，将用于测试的样本送入训练好的卷积神经网络模型中，经过网络前向传播之后输出识别率。