[发明专利]一种基于深度学习的微表情特征提取与识别方法

权利要求书

1.一种基于深度学习的微表情特征提取与识别方法，其特征在于，包括以下步骤：

构建基于关键帧的四层金字塔光流模型，输入微表情视频关键帧，获取光流特征；

对微表情图像序列的三个正交平面提取LBP特征，将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量；

将光流特征转换为直方图，与图像序列的LBP-TOP直方图向量进行级联融合，得到融合特征的直方图表示；

构建基于残差模块的浅层CNN模型，引入宏表情数据集和微表情数据集，构建基于CNN-GCN迁移学习网络的跨数据集微表情识别模型；

将融合特征输入到训练好的基于CNN-GCN迁移学习网络的跨数据集微表情识别模型中进行分类，获得微表情类型。

2.根据权利要求1所述的基于深度学习的微表情特征提取与识别方法，其特征在于，所述光流特征的获取，包括以下步骤：

对于尺寸为m*n的微表情视频关键帧I，进行下采样操作，用d表示，将视频关键帧I变换为m/2*n/2的新图像；

利用扭曲算子扭曲图像，进行双线性插值，采用独立且序列化的方式训练卷积网络；

输入新图像，从金字塔最顶层开始，初始化上一层光流场残差为0，与上一层光流场上采样结果相加，将计算所得光流场传递给注意力网络模型，对构建四层残差网络进行重复操作，计算残差，并最终计算出光流场，即获得光流特征；

其中，每一层金字塔级的残差光流表示为：

式中，表示一组训练好的卷积神经网络模型，v_k表示第k层光流残差，由模型根据在k层的视频帧和及上一层的光流场上采样的结果u(V_k-1)进行计算；w、u分别表示对图像执行扭曲和上采样操作，表示扭曲的新图片，由上一层的光流场上采样结果u(V_k-1)对k层的第二张图片进行扭曲；V_k表示第k层的光流场结果，通过上一层的光流场上采样结果u(V_k-1)和当前层光流残差v_k相加后获得，即：

V_k＝u(V_k-1)+v_k。

3.根据权利要求1所述的基于深度学习的微表情特征提取与识别方法，其特征在于，所述将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量，具体包括：

采用均匀编码方式，将微表情图像序列从水平方向x、垂直方向y及时间轴向t三个维度上分为若干个互不重叠的块状结构；

分别对微表情图像序列的三个正交平面提取LBP特征；

其中，XY平面表示视频帧的空间信息，XT和YT平面分别表示沿时间轴扫描视频序列得到的水平和垂直方向的运动纹理信息，将三个维度上得到的归一化特征梯度直方图级联成LBP-TOP直方图向量。

4.根据权利要求1所述的基于深度学习的微表情特征提取与识别方法，其特征在于，所述基于残差模块的浅层CNN模型的构建，包括以下步骤：

将特征提取得到的特征数据集划分为训练集、测试集与验证集，以卷积层、池化层、全连接层和dropout层为核心搭建浅层CNN模型。

5.根据权利要求4所述的基于深度学习的微表情特征提取与识别方法，其特征在于，还包括：

利用跳跃的捷径连接模块，将浅层特征x输入至该训练模块的输出，作为初始残差；

该训练模块中的深层特征表示为：

H(x)＝F(x)+x

令F(x)无限逼近于0，得到近似恒等映射，通过学习残差函数F(x)，将深层特征训练网络分解为多个基于残差结构的浅层多尺度训练模块：

F(x)→0,H(x)≈x。

6.根据权利要求4所述的基于深度学习的微表情特征提取与识别方法，其特征在于，所述基于CNN-GCN迁移学习网络的跨数据集微表情识别模型的构建，具体包括：

将CASME II特征数据集作为训练集，SAMM作为测试集，并在宏表情数据集FER2013上进行预训练，利用宏表情定量优势辅助微表情识别，构建基于CNN-GCN迁移学习网络跨数据集微表情识别模型。