[发明专利]一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法

权利要求书

1.一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法，其特征在于，包括：

A、微表情样本处理

1)对微表情数据集样本和宏表情数据集样本进行预处理；

2)构建跨模态元组损失函数的样本对；

B、跨模态‘宏to微’转换模型训练

3)训练AU检测网络，初始化AU检测网络参数，以基于时空全卷积层的AU检测网络训练一个柔性最大值损失函数Softmax Loss Function；

4)固定AU检测网络参数，初始化跨模态‘宏to微’转换模型参数，训练跨模态‘宏to微’转换模型，通过训练同时减少一个跨模态元组损失函数和一个柔性最大值损失函数的值；

C、微表情识别

根据训练好的卷积神经网络模型，初始化测试参数，将用于测试的样本送入训练好的卷积神经网络模型中，经过网络前向传播之后输出识别率。

2.根据权利要求1所述的一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法，其特征在于，所述步骤1)，对微表情数据集样本和宏表情数据集样本进行预处理，包括步骤如下：

a、通过时间插值模型插值的方法，分别将微表情数据集样本每一个图像序列、宏表情数据集样本每一个图像序列插值为F帧，F的取值范围为[10,32]且F为整数；

b、根据回归局部二值特征算法检测出微表情数据集样本每一个图像及宏表情数据集样本每一个图像中人脸的27个特征点，设定两眼中心的目标距离D为[100,150]之间的整数大小的像素值，将微表情数据集样本每一个图像及宏表情数据集样本每一个图像进行等比缩放，使两眼中心的距离为D，并将图像旋转使两眼中心处于水平位置，相应27个特征点的位置也进行了变换；

c、假设以D的S倍切割微表情数据集样本每一个图像及宏表情数据集样本每一个图像，S的取值范围为[2,3]，根据步骤b变换后的特征点中鼻尖的位置，向其上下左右四个方向分别延伸个像素值来切割图像，使得微表情数据集样本每一个图像及宏表情数据集样本每一个图像的分辨率均为231×231像素。

3.根据权利要求2所述的一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法，其特征在于，F＝16，D为100像素值，S＝2.3。

4.根据权利要求1所述的一种基于深度学习的‘宏to微转换模型’的微表情自动识别方法，其特征在于，所述步骤2)，构建跨模态元组损失函数的样本对，具体构建如下：

以微表情为参考样本，在微表情数据集样本和宏表情数据集样本中分别选取一个相同标签的样本作为正样本，即一个微表情正样本、一个宏表情正样本；在宏表情数据集样本中选取M个不同标签的样本作为宏表情负样本，一个参考样本、一个微表情正样本、一个宏表情正样本和M个宏表情负样本共同组成跨模态元组损失函数样本的一个大小为3+M的批量。