[发明专利]一种融合均衡损失的轻量级网络人脸表情识别方法

说明书

本发明请求保护一种融合均衡损失的轻量级网络人脸表情识别方法，属于模式识别技术领域。包括以下步骤：首先，提出了样本类别损失函数，利用class_weight设置权重，将样本类别损失融入网络训练之中；其次，提出了样本质量损失函数，利用表情区域关键点定位的方法，筛选出表情质量好坏的图像样本，并通过权重影响的方式融入损失函数之中；然后，利用网络注意力机制，设计了多维注意力损失函数，将两种网络注意力机制形成的特征作为鉴别标签与预测值的度量指标，从而提高网络模型分类准确度；最后，将上述所提三种损失在基于Keras框架的网络模型中进行级联融合形成EQ‑loss，并将其添加到轻量级网络框架中，实现端到端的人脸表情识别。

技术领域

本发明属于计算机模式识别技术领域，具体地说，是一种人脸表情识别方法。

背景技术

人脸表情识别技术作为人脸识别的一个重要分支，兼顾了多种学科知识在其中，已然成为了较新颖、有前景的研究方向。人脸表情识别技术具有无干扰、操作成本低和交互性强的特点，使其可应用于人机交互、精神病患者的治疗、情感计算以及远程教育等领域。以往的人脸表情识研究主要集中在静态正面人脸上，但随着科技的发展和应用的普及，对非可控条件下变化的人脸表情识别的需求日益增加。由于摄像机角度、机位方向的变化，所成像的人脸表情会存在拉伸、压缩以及遮挡等问题，这对人脸表情识别带来了极大挑战；并且，当今的大数据时代，以传统的识别技术很难满足市场应用的需求。基于深度学习的方法，通过大数据学习的模式，将成千上万张图像进行拟合，因此可以学习到各种状态下的面部表情特征(包含上述说的发生变化的图像)，增强了模型的泛化性和鲁棒性。

要实现精准高效地人脸表情识别，除了需要有深度网络模型作为网络框架外，还需要充足、高质量和面部纹理特征丰富的表情数据作为支撑。然而，在目前的研究中，表情库都是小样本数据，很难达到大数据表达多特征的效果。进一步的说，由于表情库中样本图像的质量参差不一(存在遮挡、姿态和光照等环境因素)、样本类别间的数量差距各异(某一类样本的数量远远低于其它类样本的数量)，这些因素往往会导致网络学习到某一类的特征信息较少或学习到的特征干扰信息增多，造成网络的识别精度下降。因此，如何均衡表情库中样本的质量和样本的数量成为了提高网络模型识别性能的重要研究思路。

卷积神经网络作为深度学习中解决人脸表情识别任务的经典网络框架之一，在拥有充足的、高质量的图像数据的前提下，卷积神经网络可以从海量数据中提取丰富的、多维的深度特征，从而实现更加精准的分类任务。目前用于人脸表情识别任务的卷积神经网络主要有表情峰值监督网络PPDN、通过Island损失函数扩大类间差异度的IL-CNN、通过人脸认证到表情识别两阶段的网络FaceNet2ExpNet和利用人脸局部区域注意力来提升任务精度的DAM-CNN等，这些网络通过设计深层的网络结构、优化损失函数等方法取得了较好的精度，但同时也因网络层数、模型复杂度和参数量不断增加，使得计算条件受限，无法应用于便携式设备。如何设计“又快又好”的轻量型网络，成为了基于深度的人脸表情识别研究的重点。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种融合均衡损失的轻量级网络人脸表情识别方法。本发明的技术方案如下：

一种融合均衡损失的轻量级网络人脸表情识别方法，其包括以下步骤：

101、利用Keras框架中的sklearn库函数进行网络的训练和调参，并通过自定义的划分样本数量权重的方法，使得每个类别都对应一个权重，将类别与权重一一对应，形成字典索引，再调用sklearn函数库中的class_weight方法，将权重字典融入网络模型之中；①sklearn方法指的是Keras框架中的一种库函数，其数学方法用于深度学习的训练和调参、②class_weight指的是sklearn方法里的一种可调用的函数，用于网络训练中调整损失函数的值；

102、利用表情区域关键点定位的方法，筛选出表情质量好坏的图像样本，以关键点缺失程度定义了一种样本质量损失函数，并将该质量损失函数融入网络末端的softmax层中，通过softmax+损失函数的方式来影响样本的特征学习；