[发明专利]基于轻量双通道神经网络的人脸表情识别方法

说明书

本发明涉及表情识别方法技术领域，且公开了基于轻量双通道神经网络的人脸表情识别方法，包括以下操作步骤：S1、图像预处理和图结构的构建；S2、搭建基于GCN的轻量双通道网络，自动提取表情的全局特征和局部特征；S3、特征融合和表情分类。本发明从输入表情图像中构建图结构，使用GCN可自动提取人脸表情几何和纹理两种局部特征，不受人为因素干扰，从而提高表情分类结果准确率，轻量双通道网络在网络简化、网络层数少、参数小的情况下，依然能取得极好的分类性能，且运行速度更快，鲁棒性更好。

技术领域

本发明涉及表情识别方法技术领域，具体为基于轻量双通道神经网络的人脸表情识别方法。

背景技术

现有的基于局部特征的传统方法主要是针对人脸的表情易变区域(比如眼睛、嘴巴和鼻子)进行编码与表征。但这些方法提取的人脸局部特征，易受人为因素干扰，会造成人脸表情信息的丢失，导致分类不准确。而基于全局特征的深度学习方法以RGB原始脸部数据为输入，识别的准确性有所提高，但这些方法中网络的复杂性也有所增加。且由于面部表情数据集数量有限，容易发生过拟合问题。不论是基于局部特征的传统方法还是基于全局特征的深度方法，在面对复杂场景时，算法会出现性能波动大、鲁棒性差等问题。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了基于轻量双通道神经网络的人脸表情识别方法，解决了现有方法准确率低和鲁棒性差的问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：基于轻量双通道神经网络的人脸表情识别方法，包括以下操作步骤：

S1、图像预处理和图结构的构建

S11、对输入图片的面部图像进行预处理，先对其进行灰度化处理以降低数据维数；

S12、再进行人脸检测及裁剪，以减少图像中与人脸无关的背景信息对特征提取等产生的影响；

S13、将裁剪后的面部图像归一化为统一大小224x224，作为CNN通道的输入；

S14、图结构构建

检测输入图像中的人脸特征点，构建图，每两个图结点相连，距离构成边的权值，得到一个加权邻接矩阵表示表情的几何特征，这些特征点周围的像素值就是这些图节点的属性，得到一个节点特征矩阵可以表示表情的纹理特征；

S2、搭建基于GCN的轻量双通道网络，自动提取表情的全局特征和局部特征

S21、全局特征通道——CNN通道

CNN通道由5个卷积单元组成，每个卷积单元包含一个卷积层和一个最大池化层，都是3x3的卷积核和2x2的池化核，其中，修正线性单元被用作每个卷积层的激活函数，向量化层将多维数据一维化为全局特征向量，便于后面的特征向量连接,还加入了批归一化层；

在批训练中，每个batch的激活以零均值和单位方差为中心，对于m维输入X＝{x⁽¹⁾,...,x^(m)}，每个维度的正则化将是

其中E和Var是输入X的期望值和方差，CNN中一个层的输入有四个维度，所以每个维度都会进行归一化，通过使用批归一化，一个minibatch中所有样本都被关联在了一起，因此网络不会从某一个训练样本中生成确定的结果，即同样一个样本的输出不再仅仅取决于样本的本身，也取决于跟这个样本同属一个batch的其他样本，而每次网络都是随机取batch，这样一定程度上也避免了过拟合；

S22、局部特征通道——GCN通道

图卷积网络和普通的卷积神经网络的思想类似，对于节点特征矩阵X和加权邻接矩阵A，它的层与层之前的传播方式如下：