[发明专利]基于混合时空卷积模型的微表情识别方法与装置

说明书

本发明提供了一种基于混合时空卷积模型的微表情识别方法与装置，该方法包括：根据预先获取的图像训练样本对预先建立的混合时空卷积网络进行训练，得到混合时空卷积模型；其中，所述混合时空卷积网络包括多个循环交替连接3D残差模块，每个3D残差模块包括1*3*3卷积层和3*1*1卷积层；将待识别图像输入到所述混合时空卷积模型，得到微表情分类结果。采用混合的1*3*3卷积(2维)+3*1*1卷积(1维)进行卷积计算，一方面保证了本发明在微表情识别上具有3D CNN的精度要求；另一方面大大降低了计算复杂度，从而降低对计算机硬件的要求，更有利于产品化。

技术领域

本发明涉及微表情识别技术领域，尤其涉及一种基于混合时空卷积模型的微表情识别方法与装置。

背景技术

微表情是人类试图压抑或隐藏真实情感时泄露的非常短暂的、不能自主控制的面部表情。它与普通表情的区别在于，微表情持续时间很短，仅为1/25秒至1/5秒。因此，大多数人往往难以觉察到它的存在。这种快速出现不易被察觉的面部表情被认为与自我防御机制有关，表达了被压抑的情绪。不过微表情的产生与识别心理与神经机制尚在研究当中，而且微表情出现的频率比较低，普通人对微表情的识别能力也不高，工欲善其事必先利其器，开发一套微表情识别系统，对开展研究微表情是非常必要的。目前，国际上有几个科研团队正在开展对微表情的研究：美国的艾克曼(Paul Ekman)团队、松本(Matsumoto)团队和谢里夫(Shreve)团队，加拿大的波特(Porter)团队和李康团队，日本的Polikovsky团队，芬兰的赵国英团队，以及中国科学研究院心理所的傅小兰团队。而微表情在教学过程中可以反映教师授课的质量、学生理解和接受的程度以及课堂参与度，对于教学评估工作的开展，有着深刻的意义。

目前现有的微表情识别方案具体如下：步骤一：计算表情帧与基准帧的运动趋势。步骤二：由步骤一结果提取表情特征。而现有的计算表情帧与基准帧的运动特征所采用的算法包括：(1)提取几何特征。通过图像分割、物体追踪等实现。(2)提取光流特征。以图像时空(Spatial-Temporal，简称S-T)关联为基础进行像素匹配追踪表情特征提取之后，需要对特征进行训练学习，通过计算机实现微表情自动识别。识别算法包括：支持向量机、极限学习机、神经网络、多核学习、聚类算法等。目前较多的专利和论文采用Gabor提取表情特征使用支持向量机实现不同表情的分类：可以运用聚类算法，通过图像的三维梯度特征与对应表情标签进行训练学习，实现表情等自我分类等例。例如专利一种基于Gabor和EOH特征的自动微表情识别方法(授权公告号：103258204B)、一种基于深度学习的人脸微表情识别方法(申请号201611055921.3)、论文《基于微表情特征的表情识别研究》。其中，在该研究中指出一种3D卷积神经网络算法，使用3*3*3的卷积进行表情识别，但是，3D算法比2D CNN增加了浮点数和参数，对硬件的要求较高，计算效率较慢，在实际项目和产品中落地比较困难。

发明内容

基于此，本发明提出了一种基于混合时空卷积模型的微表情识别方法与装置，能够保证微表情识别的精度要求，同时降低计算复杂度，以降低对计算机硬件的要求，有利于产品化。

为了达到上述的目的，本发明实施例一方面提供了一种基于混合时空卷积模型的微表情识别方法，包括：

根据预先获取的图像训练样本对预先建立的混合时空卷积网络进行训练，得到混合时空卷积模型；其中，所述混合时空卷积网络包括多个循环交替连接3D残差模块，每个3D残差模块各包括1*3*3卷积层和3*1*1卷积层；

将待识别图像输入到所述混合时空卷积模型，得到微表情分类结果。

优选地，所述根据预先获取的图像训练样本对预先建立的混合时空卷积网络进行训练，得到混合时空卷积模型，具体包括：

根据预先定义的若干种微表情，将预先采集的表情图像数据进行分类；

对分类后的表情图像数据进行归一化处理，得到对应各种微表情的人脸图像数据；