[发明专利]一种融合均衡损失的轻量级网络人脸表情识别方法

权利要求书

1.一种融合均衡损失的轻量级网络人脸表情识别方法，其特征在于，包括以下步骤：

101、利用Keras框架中的sklearn库函数进行网络的训练和调参，并通过自定义的划分样本数量权重的方法，使得每个类别都对应一个权重，将类别与权重一一对应，形成字典索引，再调用sklearn函数库中的class_weight方法，将权重字典融入网络模型之中；①sklearn方法指的是Keras框架中的一种库函数，其数学方法用于深度学习的训练和调参、②class_weight指的是sklearn方法里的一种可调用的函数，用于网络训练中调整损失函数的值；

102、利用表情区域关键点定位的方法，筛选出表情质量好坏的图像样本，以关键点缺失程度定义了一种样本质量损失函数，并将该质量损失函数融入网络末端的softmax层中，通过softmax+损失函数的方式来影响样本的特征学习；

103、基于网络注意力机制设计了多维注意力损失函数，在网络末端的分类层前添加通道域注意力机制和空间域注意力机制，将两种注意力机制形成的特征提取出来作为损失函数鉴别标签与预测值的度量指标；

104、将样本类别损失、样本质量损失和多维注意力损失在基于Keras框架的网络模型中进行级联融合，形成了新的损失函数—融合均衡损失；

105、利用ResNet网络层的残差特性和Inception网络层的通道退耦合特性，构建了一套轻量深层的网络框架——深度可分离残差卷积网络框架SRNet，利用1x1的通道分离卷积和残差结构实现减少网络参数的优化，将步骤104得到的EQ-loss融入SRNet网络末端，实现损失的优化；然后，将得到的特征信息输入特征分类卷积层后，得到网络输出的分类概率，求最大概率值对应的分类结果，得到最终的识别结果；

106、为了验证SRNet网络对人脸表情识别的有效性，将SRNet网络模型导入到自建的人脸表情识别平台中，实现在线和离线的人脸表情识别；

所述步骤101自定义的样本权重划分流程为：

A1、计算表情库样本总数，并设置一个超参数为权重力度因子，其与各个类的样本数量与权重值设定有关，由公式(1)得到：

式中n为表情库的类别数量，i＝[1,2,…,n]，Sample_i/j为第i/j类样本的数量，通过公式(1)的if语句判定，如果第i类的样本数量小于平均样本量，就参与的计算，m为小于平均样本量的类的总数，通过计算少样本类与表情库平均样本之间的差异度，得到权重力度因子并由公式(2)得到每个类的样本权重：

B1、根据公式(2)，每个类得到对应的权重weight_i，可以计算出少样本类的log值反而大，多样本类的log值基本保持不变，为使得样本损失在注意少样本类时保持多样本类的平衡，weight_i值小于1的都取1平衡处理：

式(3)中class_weight_i表示第i类表情的weight_i权重，因此，可以组成长度为n的权重矩阵；

C1、将得到的权重矩阵作为参数，带入到Keras框架中的class_weight权重损失度量函数中，将参数以类别字典的方法融入网络训练的损失之中，当网络损失为交叉熵损失时，融合公式为：

式中β为超参数因子，yⁱ为标签值，h_θ(xⁱ)为预测值，通过对交叉熵损失叠加一个class_weight权重，使得损失值变大，网络对该类的训练收敛时，就会分更多的“精力”，从而达到权重注意的目的；

步骤102中自定义样本质量损失函数来影响样本的特征学习，其方法为：

A2、让网络通过损失去均衡其他类的分布，同时从图像质量方面考虑该样本损失的价值，则将loss改为：

式中ε为人为设计的超参数，γ为样本质量权重，由人脸标定点表情区域的回归所决定，z_i为第i个样本的网络输出，总样本数量为n，则样本的所有输出为Z＝[z₁,z₂,…,z_n]；

B2、通过定义损失函数，在损失中加上了γ权重，γ表示为：

γ＝1/m·∑length(mark_fer) (6)

将样本图像经过MTCNN方法进行人脸标定后，关键点数小于5的都标记为质量缺失的表情图像，总个数为m；mark_fer为缺失度，缺失一个关键点记为缺失度0.2，两个记为0.4，以此类推；length(mark_fer)表示m个人脸表情图像质量缺失程度的总和，由此计算出的平均质量即为样本的质量权重；

步骤103中在网络末端的分类层前添加通道域和空间域注意力机制的流程表示如下：

A3、利用注意力机制形成的特征+softmax loss+center loss的方式学习特征的描述，使之拉近了类内距离又离远了类间距离，其中center loss的定义如下：

式中c为类中心，x_i为另一个样本的特征向量，N为batchsize批处理样本的数量；

B3、先随机初始化，再在每次网络批处理时更新c，其更新方法如公式(8)所示，在每个批样本里计算当前样本与的距离，然后将偏导更新的距离添加到c上：

公式(8)可以看做网络参数权重的更新，类似于BP算法的反向传播过程；

C3、将网络末端分类卷积层分别上下两部分操作，得到基于通道域的注意力机制特征1和基于空间域的注意力机制特征2，将两个特征通过中心损失的设计方法融合center loss之中；

所述步骤C3将两个特征通过中心损失的设计方法融合center loss之中，实现方式由公式(9)得到：

式中为超参数，其目的是控制注意力机制特征的影响范围，F1和F2分别为通道域注意力特征1和空间域注意力特征2，Z由公式(5)而来，b为一个batchsize批处理样本的大小，网络通过对每个batchsize内的特征进行注意力机制特征+softmaxloss+centerloss的训练学习，使得网络特征的描述在类内联系更紧，在类间联系更加稀疏。