[发明专利]一种基于2D-3D CNN的微表情识别方法

权利要求书

1.一种基于2D-3D CNN的微表情识别方法,其特征在于,包括以下步骤：

S1:采集微表情，构成原始微表情数据集，采用数据扩增方式对原始微表情数据集进行扩充，得到扩充后微表情数据集，对扩充后的微表情数据集进行划分，得到训练数据集和测试数据集；

S2:采用图像处理技术在线处理微表情视频，利用差分思想得到差分信息图，在一帧中记录视频中脸部的运动状态，构建2D-3D CNN网络模型；

S3:将训练数据集输入到2D-3D CNN网络模型中进行训练，得到最优2D-3D CNN网络模型；

S4:将测试数据集输入到最优2D-3D CNN网络模型中衡量2D-3D卷积神经网络的分类效果；

S5:将预处理后的微表情视频输入到最优2D-3D CNN网络模型中，得到微表情的识别的分类结果。

2.根据权利要求1所述的一种基于2D-3D CNN的微表情识别方法,其特征还在于,所述数据扩增方式的步骤如下：

S1-1:微表情图像按照固定的角度旋转，进行角度调整，得到角度调整后的微表情图像；

S1-2:将角度调整后的微表情图像，设置对比度阈值，进行对比度调整，得到对比度调整后的微表情图像；

S1-3:将对比度调整后的微表情图像利用插值法进行分辨率调整。

3.根据权利要求1所述的一种基于2D-3D CNN的微表情识别方法,其特征还在于,所述采用图像处理技术在线处理微表情视频，构建2D-3D CNN网络模型的过程如下：

S2-1:在线处理微表情视频，得到固定长度的微表情视频及差分信息图分别作为Net-A的输入和Net-B的输入；

S2-2:使用三维卷积实现空间卷积与时间卷积提取微表情的空间信息与时间信息，将空间卷积结果与时间卷积结果分阶段累加，搭建Net-A；

S2-3:使用残差网络块搭建Net-B；

S2-4：将Net-A与Net-B的输出进行连接，送入全连接层，使用softmax分类器进行分类，即完成2D-3D卷积神经网络搭建。

4.根据权利要求3所述的一种基于2D-3D CNN的微表情识别方法,其特征还在于,所述固定长度的微表情视频选取方法如下：

设微表情视频长度为X帧，当微表情视频长度X帧小于阈值M时，重复最后一帧进行补充，至微视频长度M帧；

当微表情视频长度X帧大于阈值M时，以X-M帧作为初始帧选取M帧作为微视频长度。

5.根据权利要求3所述的一种基于2D-3D CNN的微表情识别方法,其特征还在于,所述的差分信息图的生产方法如下：

S2-1-1:利用差分思想提取微表情视频当前帧与初始帧的差分图像；

S2-1-2：利用累加算法提取微表情视频对应的差分信息图。

6.根据权利要求5所述的一种基于2D-3D CNN的微表情识别方法,其特征还在于,当前帧与初始帧的差分图像的计算公式如下：

D_m(x,y,t)＝|I_m(x,y,t)-I_m(x,y,1)| (1)

其中：D_m(x,y,t)表示当前帧与初始帧的差分图像，I_m(x,y,t)表示微表情视频的第m个样本的第t帧；t＝1，2，…，N；

所述差分信息图的计算公式如下：

其中，E_m表示第m个样本的差分信息图。