[发明专利]一种基于双重限制注意力神经网络模型的人脸识别方法

权利要求书

1.一种基于双重限制注意力神经网络模型的人脸识别方法，其特征在于，包括如下步骤：

步骤1）、利用摄像头获取原始人脸图像；

步骤2）、将原始人脸图像输入到MTCNN神经网络模型中，得到经过五官人脸切割后的人脸脸框图像；

步骤3）、将人脸正脸脸框图像输入双重限制注意力神经网络模型中，利用多级特征提取方法进行人脸特征提取，得到人脸特征矩阵；

步骤4）、以人脸特征矩阵与人脸模板库中的人脸图像进行比对识别得到人脸结果。

2.根据权利要求1所述的基于双重限制注意力神经网络模型的人脸识别方法，其特征在于：所述步骤2）中利用MTCNN神经网络模型处理得到人脸脸框图像的过程包括：

步骤2-1、采用P-Net网络获得候选窗体和边界回归量，同时候选窗体根据边界框进行校准，再利用NMS方法去除重叠窗体；

步骤2-2、将P-Net网络确定的包含候选窗体的图片在R-Net网络中训练，利用边界框向量微调候选框体，再利用NMS方法去除重叠窗体；

步骤2-3、利用O-Net网络在去除候选窗体，同时显示五个人脸关键点定位。

3.根据权利要求2所述的基于双重限制注意力神经网络模型的人脸识别方法，其特征在于：所述MTCNN神经网络模型的训练包括三个部分，人脸和非人脸的分类，边界框回归及五官位置点定位，其中：

人脸和非人脸的分类利用交叉熵损失函数确定：

；

其中，表示人脸概率，表示背景的真实标签，表示“预测人脸的概率”和“事实是不是人脸”的接近程度，值越小表示越接近，该部分的训练目标为获得最小值min（）；

边界框回归通过欧氏距离计算回归损失：

；

其中，为通过网络预测得到的背景坐标，为实际的真实的背景坐标，表示左上角、右上角、长、宽组成的四元组，表示边框回归的欧氏距离，其值越小，表示预测值与真实值越接近，该部分的训练目标为获得最小值min（）；

五官位置点定位通过计算网络预测坐标与实际坐标的欧氏距离，并最小化该距离，其公式为：

；

其中，为通过网络预测得到的五官位置坐标，为实际的真实的五官位置坐标，表示五官的五个点组成的十元组，表示边框回归的欧氏距离，其值越小，表示预测值与真实值越接近，该部分的训练目标为获得最小值min（）；

对上述三部分进行综合得到公式：

；

其中：N是训练项目的数量，表示不同任务的权重，在P-Net网络和R-Net网络中，=1，=0.5，=0.5，在O-Net网络中，=1，=1，=0.5；表示样本类型的真实标签，，表示损失函数。

4.根据权利要求1所述的基于双重限制注意力神经网络模型的人脸识别方法，其特征在于：所述步骤3）中双重限制注意力神经网络模型为外在特征注意力与内在特征注意力相结合的三层网络模型，其中第一层为瞥视层，通过人脸图像提取大致轮廓信息，第二层为粗略层，通过瞥视层获取的轮廓信息进一步提取人脸上局部范围内的有效特征，第三层为精细层，进一步精确提取能区分人脸是谁的特征，得到人脸特征矩阵。

5. 根据权利要求4所述的基于双重限制注意力神经网络模型的人脸识别方法，其特征在于： 所述瞥视层中，通过抑制内在特征注意力机制，提高外在特征注意力机制，以从整体角度提取人脸特征；所述粗略层中，通过加强内在特征注意力机制，抑制外在特征注意力机制来提取人脸图像有效特征，所述瞥视层和粗略层的输出H（x）为：

；

其中，为模型枝干输出，为对应层的内在特征注意力的输出，为对应层的外在特征注意力输出，其中与尺寸同等大小，是通道的序号，，为调整两种注意力机制的权重超参数。

6.根据权利要求4所述的基于双重限制注意力神经网络模型的人脸识别方法，其特征在于：所述精细层中，利用粗略层输入的人脸有效特征，进行内在和外在特征注意力的同步价钱，进行细节特征的提取。

7.根据权利要求1所述的基于双重限制注意力神经网络模型的人脸识别方法，其特征在于：所述步骤4）中，针对原始图像以及人脸模板库中人脸图像，利用矩阵间的欧几里得距离得到距离结果，并通过SIGMOID函数进行相似度拟合，得到两张图像的相似度：

；

，，；

其中：，为拟合函数二阶导数的正相关参数，Threshold为正确率达到99.99%时的值。