[发明专利]基于混合时空卷积模型的微表情识别方法与装置

权利要求书

1.一种基于混合时空卷积模型的微表情识别方法，其特征在于，包括：

根据预先获取的图像训练样本对预先建立的混合时空卷积网络进行训练，得到混合时空卷积模型；其中，所述混合时空卷积网络包括多个循环交替连接3D残差模块，每个3D残差模块包括1*3*3卷积层和3*1*1卷积层；

将待识别图像输入到所述混合时空卷积模型，得到微表情分类结果；

具体地，所述混合时空卷积网络包括：采用ResNet网络结构循环交替连接的第一3D残差模块、第二3D残差模块以及第三3D残差模块；其中，所述第一3D残差模块包括：依次相连的1*1*1卷积层、1*3*3卷积层、3*1*1卷积层以及1*1*1卷积层；所述第二3D残差模块包括：1*1*1卷积层、与1*1*1卷积层的输出端分别相连的1*3*3卷积层和3*1*1卷积层、与1*3*3卷积层和3*1*1卷积层的输出端分别相连的1*1*1卷积层；所述第三3D残差模块包括：1*1*1卷积层、与1*1*1卷积层的输出端相连的1*3*3卷积层、与1*3*3卷积层的输出端分别相连的3*1*1卷积层和1*1*1卷积层。

2.如权利要求1所述的基于混合时空卷积模型的微表情识别方法，其特征在于，所述根据预先获取的图像训练样本对预先建立的混合时空卷积网络进行训练，得到混合时空卷积模型，具体包括：

根据预先定义的若干种微表情，将预先采集的表情图像数据进行分类；

对分类后的表情图像数据进行归一化处理，得到对应各种微表情的人脸图像数据；

将所述人脸图像数据按照预设的比例划分为图像训练样本、图像验证样本以及图像测试样本；

采用所述图像训练样本对预先建立的混合时空卷积网络进行训练；

采用所述图像验证样本对训练得到的混合时空卷积模型进行参数调优；

采用所述图像测试样本对调优后的混合时空卷积模型进行测试。

3.如权利要求2所述的基于混合时空卷积模型的微表情识别方法，其特征在于，所述对分类后的表情图像数据进行归一化处理，得到对应各种微表情的人脸图像数据，具体包括：

对分类后的表情图像数据进行灰度化处理，得到灰度图像数据；

对所述灰度图像数据进行人脸检测对齐处理，得到人脸特征图像数据；

对所述人脸特征图像数据进行PCA降维处理，生成对应各种微表情的人脸图像数据。

4.如权利要求3所述的基于混合时空卷积模型的微表情识别方法，其特征在于，所述对所述人脸特征图像数据进行PCA降维处理，生成对应各种微表情的人脸图像数据，具体包括：

将任意一个人脸图像数据转换为n*m的矩阵；

将所述矩阵中的每一行进行零均值化处理；

根据零均值化处理的矩阵，计算协方差矩阵，并计算所述协方差矩阵的特征向量及其对应的特征值；

将所述特征向量按照特征值大小从上到下按行排列，得到变化矩阵；

从所述变化矩阵中提取前k行组成降维矩阵，得到任意一个人脸图像数据对应的人脸图像数据；其中，根据任意一个人脸图像数据压缩后的误差确定k的数值。

5.如权利要求1或2所述的基于混合时空卷积模型的微表情识别方法，其特征在于，对所述混合时空卷积网络进行训练之前，所述方法还包括：

对所述混合时空卷积网络中的3*1*1卷积层进行随机初始化处理；

采用ResNet网络的3*3卷积层对所述混合时空卷积网络中的1*3*3卷积层进行初始化。

6.如权利要求2所述的基于混合时空卷积模型的微表情识别方法，其特征在于，所述方法还包括：

从CASME数据库采集的第一图像数据；

采用摄像头进行人脸微表情拍摄，获取表情视频；

根据设定的提取规则从各个表情视频中各提取若干帧图像，得到第二图像数据；其中，一个表情视频对应一种预先定义的微表情；所述第一图像数据和所述第二图像数据的集合，作为所述表情图像数据。