[发明专利]一种基于Sigmoid函数的分类层监督用于人脸识别的方法

说明书

本发明公开了一种基于Sigmoid函数的分类层监督用于人脸识别的方法，属于计算机视觉领域。本发明基于Sigmoid非线性函数和Softmax分类层监督两个方面提出了一种可用于训练人脸识别深度神经网络的损失函数。该方法适用于当前以深度神经网络为基础的人脸识别网络训练。在公开数据集上的实验表明，使用本发明作为损失函数训练得到的人脸识别网络具有较高的人脸识别准确率，在侧脸拍摄、强弱光照射等极端场景中也具有较强的人脸识别能力。

技术领域

本发明涉及计算机视觉领域，尤其是一种基于Sigmoid函数的分类层监督用于人脸识别的方法。

背景技术

自从21世纪以来，人脸识别技术就一直是计算机视觉领域的一个热点研究问题，在安防、民生、交通等领域应用广泛。在当下以深度神经网络为基础的人脸识别技术研究中，网络结构优化和损失函数优化是两个主要的研究方向。网络结构的优化主要着眼于人脸识别任务中特征提取网络如何能够提取到更有效的人脸特征，这些特征包括低级的轮廓、颜色等特征，也包括高级的富含有丰富语意信息的特征。网络结构的优化可以带来人脸识别准确率的提升，但是可能存在网络整体参数量和计算量变大的缺点。损失函数的优化主要着眼于人脸识别任务中训练人脸识别网络时的分类层监督，一般的分类层监督是指使用全连接层作为分类层时为网络引入的“代价”，典型的分类层监督是Softmax分类层监督，在深度神经网络发展的初期被广泛应用于各种图像分类任务，且具有不错的表现。损失函数的优化也可以带来人脸识别准确率的提升，并且由于分类层监督只存在于网络训练阶段，即使非常复杂的分类层监督在网络推理阶段也是没有任何代价的。

当前主流的人脸识别网络分类层监督一般以Softmax损失函数为基础。Softmax损失函数将分类层得到的每一个输出视为每一个类别的未归一化的对数概率，并且将线性分类器SVM中的折叶损失替换为交叉熵损失。从信息论的角度来看，Softmax损失函数最小化了预测概率分布和真实概率分布之间的交叉熵，其中真实概率分布是指所有概率密度都分布在正确的类别上。从概率论的角度来看，Softmax损失函数最小化了正确分类的负对数概率，本质上是最大似然估计。事实上，在深度神经网络中Softmax损失函数的正则化部分可以看作权重矩阵的高斯先验，网络在推理过程中进行了最大后验估计，这符合分类网络设计的初衷。因此，Softmax分类层监督用于图像分类等任务是合适的。

使用Softmax分类层监督训练得到的图像分类网络可以准确分类多达上千类的自然图像，但是却不能直接应用于人脸识别网络。Softmax损失函数只关注分类正确的类别，对分类错误的类别没有优化，因此使用Softmax损失函数训练得到的特征类内距离不够紧凑，类间距离不够远离。在人脸识别这一特殊场景中，由于不同人脸在不同环境下的特征向量可能非常接近，也可能差异较大，因此，人脸识别任务需要特征具有“类内距离紧凑，类间距离远离”这一特性。为了解决Softmax分类层监督无法直接应用于人脸识别网络这一问题，研究人员显式引入了一个基于度量学习的角度裕量，在网络训练优化的过程中人为压缩同一类别的特征向量之间的距离，扩大不同类别的特征向量之间的距离，使得训练得到的网络的输出端输出的特征具有“类内距离紧凑，类间距离远离”这一特性。

发明内容

发明目的：为解决上述在人脸识别过程中Softmax分类层监督存在的问题，本发明设计了一种基于Sigmoid函数的分类层监督，该损失函数具有较强的非线性表达能力，使用该损失函数训练得到的人脸识别网络具有较高的人脸识别准确率。

为达到上述目的，本发明提供了一种基于Sigmoid函数的分类层监督用于人脸识别的方法，包含以下步骤：

步骤1，以原始的Softmax损失函数作为分类层监督的基础。

原始的Softmax损失函数的一般形式为：

其中，N表示batchsize的大小，n表示总共的类别数目。