[发明专利]一种基于卷积神经网络的微表情双流网络识别方法

说明书

本发明涉及一种基于卷积神经网络的微表情双流网络识别方法，利用目前在其他计算机视觉等问题上效果较好的两种网络模型Inception网络和Resnet网络进行研究，通过不同的输入运动信息，融合两种网络的输出特征更好地进行微表情识别；本发明在Inception网络基础上通过修剪并添加注意力机制提出TIncepSE，使其在融合多尺度信息的基础上加强通道间的相关性；同时利用3DResnet网络证明3D卷积网络可以用在微表情识别中；最终通过融合TIncepSE网络与3DResnet网络，构成3DResTIncepSE网络提高微表情识别的效果。

技术领域

本发明属于微表情识别及人工智能领域，涉及面部运动、面部特征、卷积神经网络，特别涉及一种基于卷积神经网络的微表情双流网络识别方法。

背景技术

目前微表情识别其实就是在现有的数据库上进行微表情样本序列的情感分类。目前广泛使用的有手工特征LBP，LBP-TOP，LBP-SIP、HIGO+Mag和光流方法。

LBP方法是以窗口中心像素为阈值，将设置的相邻元素的灰度值与其进行比较，若周围像素值大于等于中心像素值，则该像素点的位置被标记为1，否则为0。这样每个像素点都会产生一个二进制编码码，表示图像的局部纹理特征，通过将图像的所有局部纹理特征组织成最终的特征统计直方图用来表示图片的特征，然后就可以利用SVM或者其他机器学习算法进行分类。

LBP-TOP是LBP从二维空间到三维空间的拓展，TOP表示三正交平面，一个视频或者图像序列除了X,Y方向之外，还有一个沿着时间轴T的方向，通过该方法，一个图像序列就可给出三个正交平面的纹理图，X-Y是我们正常看到的图像，X-T是每一行沿着时间轴扫描而过的纹理和Y-T是每一列沿着时间轴扫描而过的图像，这三个平面是相互正交的，通过把三个平面的LBP特征连接起来，得到一种包含空间信息和时间信息的高维特征。

LBP-SIP是LBP-TOP的简化版，由于当所有三个平面被视为整体时，某些像素点在计算中被多次使用，从而导致在计算LBP码时产生冗余的差分和阈值计算，为了在保留基本模式信息的同时使计算更紧凑，该方法仅计算空间和时间两组相邻点来获得时空LBP模式，即只考虑三个正交平面构成的三条相交直线上的六个不同的相邻点。

HIGO+Mag首先利用欧拉方法将图像的运动进行放大，然后求得图像的梯度直方图，HIGO通过忽略一阶导数的大小来降低光照和对比度的影响。结果表明图像梯度方向并不取决于像素的强度。因此，统计得到的图像块的梯度方向直方图是光照不敏感的。对于识别真实情况下记录的自发微表情，在光照条件显著不同的情况下，HIGO有望提高性能。

光流法是现阶段分析图像运动的重要方法，光流用矢量符号对物体的运动进行编码，指示运动的方向和强度。光流法假设像素点的光强度不会突变，通过分析像素亮度强度来计算出物体的运动，构成图像上所有像素点的一种二维瞬时速度场，其中的二维速度矢量是景物中可见点的三维速度矢量在成像表面的投影。目前比较常用的是总变分最小化方法(TV-L1)。

除了上述的一些手工特征的方法，随着机器学习与深度学习的发展，逐渐有人尝试使用深度学习的方法来进行微表情识别如：ELRCN、DSSN网络结构。

ELRCN，其中使用VGG网络为骨干网络，通过特征丰富来编码微妙的面部变化，ELRCN模型包括深层次的空间特征提取器和描述时间动态的时间模块，介绍了两种网络变体：1)通过输入通道叠加来丰富空间维度，2)通过深度特征叠加来丰富时间维度。

DSSN，其中使用AlexNet网络为骨干网络，通过保留一些较早的卷积块，重要的早期空间约简得以维持，为了更好地捕获关键信息，构造了一对异构的截断网络，在最后的卷积块上进行通道信道合并，称之为双流浅层网络。通过有区别地合并运动信息促进微表情的识别，证明了具有竞争力的手工特征方法可以被深度学习技术所超越。

发明内容