[发明专利]基于多层次特征联合的微表情识别方法及系统

权利要求书

1.基于多层次特征联合的微表情识别方法，其特征是，包括：

获取待识别的微表情视频，从待识别的微表情视频中提取起始帧和峰值帧；

对起始帧和峰值帧分别提取面部区域图像；基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流分量；

将峰值帧相对起始帧的光流分量，输入到预先训练好的多层次特征联合网络中，依次进行多层次特征提取和多层次特征融合，最后输出当前关联所对应的微表情分类结果；

多层次特征联合网络，具体结构包括：主干分类网络AlexNet和特征联合模块；

所述主干分类网络AlexNet，包括：依次连接的第一卷积层、第一归一化层、第一池化层、第二卷积层、第二归一化层、第二池化层、第三卷积层、第四卷积层、第五卷积层、第三池化层、第一全连接层和第二全连接层；

所述特征联合模块，包括：第六卷积层、第七卷积层、第八卷积层、第四池化层和第三全连接层；

其中，第六卷积层的输入端与第三卷积层的输出端连接，第七卷积层的输入端与第四卷积层的输出端连接；第六卷积层的输出端和第七卷积层的输出端均与加法器连接；加法器与ReLU函数层输入端连接，ReLU函数层输出端与第八卷积层的输入端连接；第八卷积层的输出端与sigmoid函数层输入端连接，sigmoid函数层的输出端和第五卷积层的输出端均与乘法器的输入端连接；所述乘法器的输出端与第四池化层的输入端连接，第四池化层的输出端与第三全连接层的输入端连接；

第三全连接层的输出端和第二全连接层的输出端均与特征融合模块输入端连接，特征融合模块的输出端与分类器连接。

2.如权利要求1所述的方法，其特征是，从待识别的微表情视频中提取起始帧和峰值帧；具体步骤包括：

对提供已标注好峰值帧的数据集直接使用；或者，

对未标注峰值帧的数据集，先进行光流计算，计算出每一帧相对起始帧的光流并求出每一帧光流强度总和，最大强度总和所对应的那一帧即为峰值帧。

3.如权利要求1所述的方法，其特征是，对起始帧和峰值帧分别提取面部区域图像；具体步骤包括：

对起始帧和峰值帧分别检测人脸面部关键点；

根据人脸面部关键点，获取裁剪区域的位置及裁剪区域的大小；

根据裁剪区域的位置及裁剪区域的大小，对每个样本的起始帧和峰值帧的面部区域图像进行裁剪，获取只包含面部区域的图像。

4.如权利要求1所述的方法，其特征是，基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流分量；具体步骤包括：

基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流水平分量和光流垂直分量；

对峰值帧相对起始帧的光流水平分量和光流垂直分量，均进行线性变换；

对线性变换后的光流水平分量和光流垂直分量，均进行范围约束。

5.如权利要求4所述的方法，其特征是，所述基于起始帧和峰值帧各自对应的面部区域图像，利用光流法提取峰值帧相对起始帧的光流水平分量和光流垂直分量；步骤之前还包括：

将基于起始帧和峰值帧各自对应的面部区域图像的尺寸均调整为设定尺寸；

根据光流法的灰度不变性约束条件，将调整尺寸后的起始帧和峰值帧各自对应的面部区域图像进行灰度化处理。

6.如权利要求1所述的方法，其特征是，将峰值帧相对起始帧的光流分量，输入到预先训练好的多层次特征联合网络中，依次进行多层次特征提取和多层次特征融合，最后输出当前关联所对应的微表情分类结果，具体步骤包括：

将峰值帧相对起始帧的光流分量，输入到预先训练好的多层次特征联合网络中；

预先训练好的多层次特征联合网络对峰值帧相对起始帧的光流分量进行特征提取；

预先训练好的多层次特征联合网络的特征联合模块中的第三全连接层输出的特征向量与主干分类网络AlexNet中第二全连接层输出的特征向量进行拼接，完成特征向量融合操作；

将融合操作后的特征向量输入到分类器中，利用分类器中的softmax函数进行预测，从而完成微表情的分类识别。