[发明专利]基于空洞卷积的CNN微表情识别方法

权利要求书

1.一种基于空洞卷积的CNN微表情识别方法，其特征在于，具体包括以下步骤：

步骤S1，实时采集人脸视频，送入多任务卷积神经网络模型。

步骤S2，通过多任务卷积神经网络模型快速检测和识别实时人脸视频中的人脸图像。

步骤S3，通过人脸自动矫正模块进行人脸自动矫正，对步骤2中识别的人脸图像区域进行校正。

步骤S4，通过结合空洞卷积的CNN模型对校正后的人脸图像进行微表情特征提取。

步骤S5，通过类sofmax分类算法完成微表情实时分析。

步骤S6，输出微表情识别结果。

2.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S2中的人脸检测和识别包括以下步骤：

步骤S21，摄像头实时检测，获取并传输多帧连续人脸视频图像。

步骤S22，转换RGB图像，获取图像参数，包括图像高度h和宽度w。

步骤S23，定义多任务卷积神经网络模型的模型参数，包括最小人脸尺寸，模型训练过程中三个阶段的临界值和模型比例因数。

步骤S24，计算BB回归损失值，若BB回归损失值小于1，则未检测到人脸，反之，计算人脸所在位置坐标。

步骤S25，依据步骤S24的坐标信息进行图像切割，显示人脸推荐窗口。

3.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S3中的人脸自动矫正包括以下步骤：

步骤S31，获取多任务卷积神经网络模型的人脸标记点坐标及推荐框坐标。

步骤S32，计算两眼之间的直线距离及水平夹角角度。

步骤S33，依据夹角读书顺时针完成图像旋转。

步骤S34，依据夹角完成推荐框坐标变换。

步骤S35，依据步骤S34的坐标完成人脸图像裁剪。

4.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S4中的空洞卷积，其卷积构造方法是在传统的卷积核中增加权重为0的卷积像素，引入扩张率参数r定义卷积核处理数据时各值的间距，在原卷积和的基础上增加(r_i-1)²个空洞，其第i卷积层的特征图o的计算方式为

5.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S4中结合空洞卷积的CNN模型的网络结构以16层的VGG网络作为基础网络框架，整个卷积网络由13个卷积层及空洞块构成，在网络计算结束时保证输出为7*7的特征图，所述空洞块由扩张系数为4和2的卷积核且大小为3*3的卷积层串联形成。

6.根据权利要求1所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S5中，定义训练数据X包含k个训练样本x，并将其分为生气、厌恶、恐惧、幸福、悲伤、惊讶和自然7类表情，通过Softmax分类器将神经网络输出归一到(0，1)的概率分布上，则第i个样本的概率为

7.根据权利要求6所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S5中，采用相对熵来衡量样本x的真实分布p与模型预测分布q间的差异，

8.根据权利要求7所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S5中，评估计算过程中真实分布p的熵-H(p(x))保持不变，计算交叉熵，

9.根据权利要求8所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S5中，增加不同类别权重weight控制正负样本平衡并计算loss值，

10.根据权利要求9所述的一种基于空洞卷积的CNN微表情识别方法，其特征在于，步骤S5中，采用Focal loss解决正负样本比例严重失衡的问题，Focal loss在交叉熵的基础上增加参数γ与平衡权重因子α，

FL_loss＝α_i[-(1-p(x_i))]^γ*CE_loss。