[发明专利]一种基于卷积神经网络的面部情感分析方法

权利要求书

1.一种基于卷积神经网络的面部情感分析方法，其特征在于，包括以下步骤：

步骤1，选择训练样本和验证样本；

基于Affect-Net数据库的九种离散标签，选取对应的九类离散样本，每类离散样本均取不少于10500个样本，不少于10000个作为训练样本，不少于500个作为验证样本；因此，选取不少于90000个作为训练样本，不少于4500个作为验证样本，在Affect-Net数据集提供的测试集上测试模型的性能；

步骤2，输入步骤1中的训练样本作为的待处理人脸图像，预处理，得到归一化人脸图像以及归一化人脸特征点；

步骤3，将步骤2的归一化人脸图像送入卷积神经网络模型提取情感特征，并将归一化人脸特征点信息送入卷积神经网络模型全连接层得到位置特征，最终情感特征与位置特征进行拼接；

步骤4，将步骤3得到的情感特征经过全连接层线性映射为二维的预测标签arousal和valence值，定义卷积神经网络的损失函数，衡量损失，使网络反向传播，直至网络模型训练完成；

步骤5，将步骤1中验证样本中的图像作为输入，重复步骤2-4，完成验证。

2.根据权利要求1所述的一种基于卷积神经网络的面部情感分析方法，其特征在于，所述步骤2具体为：

步骤2.1，输入步骤1中的训练样本作为待处理人脸图像，利用决策树人脸特征点检测算法确定人脸的特征点位置land_i＝(x_i,y_i)(i＝1,2,...,68)，利用所述人脸的特征点位置框出人脸区域，所述人脸区域由矩形表示：所述矩形左上顶点坐标记为(X,Y)，矩形长度和宽度分别记为W,V，具体如公式(1)所示：

步骤2.2，基于步骤2.1的人脸区域，将人脸归一化为像素96*96，归一化人脸的面部特征点记为new_land_i＝(new_x_i,new_y_i)，参数scale_x＝96/W、scale_y＝96/Y分别为X轴和Y轴图像缩放尺寸，得到归一化人脸图像，具体如公式(2)所示，

new_x_i＝(x_i-X)*scale_x

new_y_i＝(y_i-Y)*scale_y (2)

步骤2.3，将步骤2.2的归一化人脸图像的每个通道的像素值都再次归一化到[-1,1]之间，有利于后续网络的收敛，如公式(3)所示，

I₀(x,y)＝(I(x,y)-128)/128 (3)

其中参数I(x,y)为归一化人脸图像像素值，参数I₀(x,y)为再次归一化后的归一化人脸图像像素值。