[发明专利]基于人脸关键点校正的人脸检测识别方法及装置

权利要求书

1.一种基于人脸关键点校正的人脸检测识别方法，其特征在于，所述方法包括模型训练和模型使用两部分，

所述模型训练包括：

1)获取人脸图像，所述人脸图像为多张不同角度的人脸图像；

2)对于获取的所述人脸图像，采用人脸关键点检测器对人脸关键点位置进行检测，得到人脸关键点位置坐标作为训练标签数据；所述人脸关键点位置坐标为N个；

3)将所述人脸图像与所述人脸关键点位置坐标输入到检测校正网络，所述检测校正网络为第一级卷积神经网络，得到检测部分模型；

4)将所述人脸图像进行校正裁剪；

5)将所述校正裁剪后的人脸图像输入识别网络，所述识别网络为第二级卷积神经网络，得到识别部分模型；

其中，所述步骤2)还包括：所述N个人脸关键点位置坐标作为标签信息，与人脸图像同时输入所述第一级卷积神经网络，进行第一级卷积神经网络的训练，此时对于每幅人脸图像，得到N个二维标签；

其中，所述步骤3)还包括：将训练集人脸图像与人脸关键点位置坐标输入到所述第一级卷积神经网络进行计算，并在最后一层全连接层后，附加N个二维全连接输出层，分别对各个人脸关键点位置坐标(x，y)进行第一损失函数值计算，并采用随机梯度下降算法，优化第一损失函数，对参数进行更新，待第一损失函数值收敛到预定值，结束训练得到检测部分模型；

其中，所述第一损失函数为N个人脸关键点位置坐标预测值与标签真实值欧式距离之和，其计算公式为：

其中，Loss1为第一损失函数，N代表每幅图像人脸关键点个数，代表第i个关键点x坐标预测值，代表第i个关键点x坐标真实值，代表第i个关键点y坐标预测值，代表第i个关键点y坐标真实值；

根据第一损失函数判断网络是否收敛，若否，则调整网络参数值，若是，则结束训练，模型训练完成；

其中，所述步骤5)还包括：将人脸图像输入第二级卷积神经网络，并在最后一层增加M维输出层，使用softmax激活函数对输出进行one-hot编码处理，所述one-hot编码处理即将各维度预测输出数值转化该维度概率值，计算第二损失函数值，并使用随机梯度下降算法，优化第二损失函数，对所述第二级神经网络参数进行调整，待第二损失函数值收敛到预定值，结束训练得到识别部分模型；

输入第二级卷积神经网络训练的人脸图像，包含图像增强；

所述softmax激活函数公式为：

其中，S_i代表了当前维经softmax激活函数计算后的值，V_i代表当前维输出数值，代表全部维数值指数幂之和；即经过one-hot编码处理后得到了各维度预测输出的正确概率；

训练图像输入第二级卷积神经网络进行训练，并进行第二损失函数计算，第二损失函数采用交叉熵，其计算公式为：

其中，Loss2为第二损失函数；

根据第二损失函数判断网络是否收敛，若否，则调整网络参数值，若是，则结束训练，模型训练完成；

所述模型使用包括：

步骤S21，将待测人脸图像输入已训练好的第一级卷积神经网络，经过计算后在最后多个全连接层得到N个关键点位置坐标；

步骤S22，对于每幅图像上所预测的N个人脸关键点位置坐标，采用如下公式计算其各点之间欧氏距离：

其中，D为欧氏距离，(x_i,y_i)为第i个人脸关键点位置坐标，(x_i+1,y_i+1)为第i+1个人脸关键点位置坐标；采用欧式距离能够准确衡量人脸图像的各关键点之间的相互位置关系；

通过各关键点之间的相互位置关系，对图像进行人脸部分裁剪，并旋转校正，得到校正裁剪后的人脸图像；

步骤S23，将所述校正裁剪后的人脸图像输入所述训练好的第二级卷积神经网络，经神经网络进行卷积计算后，在分类层得到M维特征向量，取其概率值最高维序数所对应的类别，即为人脸识别结果。