[发明专利]一种基于多姿态面部静脉的身份识别方法及装置

权利要求书

1.一种基于多姿态面部静脉的身份识别方法，其特征在于，包括：

1）人脸检测与姿态判断：采用红外摄像头拍摄面部静脉图片，通过人脸检测算法RetinaFace检测出人脸框和68个特征点，根据特征点来判断人脸姿态，包括正脸、侧脸，所述侧脸包括左脸和右脸；其中，判断人脸姿态的方法是：若左眼左侧眼角和左侧嘴角特征点的中点在检测出的人脸框的中轴线的右侧，则为左脸；若右眼右侧眼角和右侧嘴角特征点的中点在检测出的人脸框的中轴线的左侧，则为右脸；否则为正脸；

2）面部静脉特征图片采集与预处理：依据步骤1）检测出的姿态，采集所述面部静脉图片的正脸静脉特征图片或侧脸静脉特征图片；其中，若判断为左脸，则采集左脸静脉特征图片，所采集的位置是左眼左侧眼角、左侧嘴角、左侧人脸边缘的5个特征点所围合形成的区域；若判断为右脸，则采集右脸静脉特征图片，所采集的位置是右眼右侧眼角、右侧嘴角、右侧人脸边缘的5个特征点所围合形成的区域；若判断为正脸，则采集正脸静脉特征图片，所采集的位置是左眼左侧眼角、左侧嘴角、右眼右侧眼角、右侧嘴角所围合形成的区域；并对所采集的正脸静脉特征图片或侧脸静脉特征图片进行扩充与增强处理；

3）模型训练：将经过步骤2）处理后的正脸静脉特征图片或侧脸静脉特征图片分别输入到正脸识别模型或侧脸识别模型，并使用损失函数分别对其进行训练；

4）注册：按照步骤1）、步骤2）的方式采集待注册用户的正脸静脉特征图片和侧脸静脉特征图片，分别输入到所述步骤3）训练完成的正脸识别模型和侧脸识别模型中，提取待注册用户的512维特征向量，并将该特征向量作为该人脸的特征存储在注册特征库中；其中将从所采集的待注册用户的左脸静脉特征图片中提取的特征向量保存为左脸注册特征库，将从所采集的待注册用户的右脸静脉特征图片中提取的特征向量保存为右脸注册特征库，将从所采集的待注册用户的正脸静脉特征图片中提取的特征向量保存为正脸注册特征库；

5）识别：分别设定正脸和侧脸识别的余弦距离阈值，其中，确定正脸余弦距离阈值的步骤为：按照所述步骤2）的方法分别采集不同个体的正脸静脉特征图片，并将其输入所述步骤3）训练完成的正脸识别模型中，提取其512维特征向量，将不同个体的512维特征向量两两比对，计算余弦距离，选取最小值设为正脸余弦距离阈值；确定侧脸余弦距离阈值的步骤为：按照所述步骤2）的方法分别采集不同个体的侧脸静脉特征图片，并将其输入所述步骤3）训练完成的侧脸识别模型中，提取其512维特征向量，将不同个体的512维特征向量两两比对，计算余弦距离，选取最小值设为侧脸余弦距离阈值；按照步骤1）和步骤2）的方式采集待识别用户的正脸静脉特征图片或侧脸静脉特征图片，并将其输入到所述步骤3）训练完成的正脸识别模型或侧脸识别模型中，得到该待识别用户的512维特征向量；分别计算该特征向量与对应注册特征库中每一特征向量的余弦距离，在对应注册特征库中选择余弦距离最小的特征向量与之比对，若两者之间的余弦距离小于余弦距离阈值，则该待识别用户的正脸静脉特征图片或侧脸静脉特征图片属于注册特征库；反之，若两者之间的余弦距离大于余弦距离阈值，则该待识别用户的正脸静脉特征图片或侧脸静脉特征图片不属于注册特征库。