[发明专利]基于深度学习非配合式的人脸识别方法

权利要求书

1.一种基于深度学习非配合式的人脸识别方法，其特征在于，对构建的检测深度学习网络和识别深度学习网络分别进行训练，制备无需配合摄像头的非配合式的人脸特征数据库，实时检测并跟踪图像的人脸区域，用特征匹配人脸特征数据库识别人脸的相关信息；该方法的步骤包括如下：

(1)生成深度学习网络训练数据集：

(1a)采集每张图像均拥有所有人脸的位置信息的至少5万张图像，将所采集的图像组成检测深度学习网络的训练集；

(1b)采集每张图像均拥有所有人脸的身份信息的至少50万张图像，将所采集的图像组成识别深度学习网络的训练集；

(2)分别构建检测深度学习网络和识别深度学习网络：

(2a)搭建一个由P、R、O三个子网络组成的检测深度学习网络MTCNN，并设置网络参数；

(2b)搭建一个识别深度学习网络FaceNet，并设置网络参数；

(3)分别训练检测深度学习网络和识别深度学习网络：

将检测深度学习网络的训练集输入到检测深度学习网络，将识别深度学习网络的训练集输入到识别深度学习网络，采用随机梯度下降方法，分别对检测深度学习网络和识别深度学习网络进行10000次训练，得到训练好的检测深度学习网络和识别深度学习网络；

(4)制备非配合人脸特征数据库：

(4a)人脸采集模块采集一个未采集过的待识别人员的正脸，左右侧脸，仰视，俯视共5张人脸图像并记录待识别人员的姓名；

(4b)将每张图像输入到训练好的检测深度学习网络中，检测深度学习网络输出每张人脸图像对应的人脸区域；

(4c)将每张图像对应的人脸区域输入到训练好的识别深度学习网络，输出每张人脸图像的512维人脸特征向量；

(4d)将所采集的待识别人员的姓名、5张人脸图像的512维人脸特征向量映射成一个字典；

(4e)判断人脸采集模块是否采集完所有待识别人员的图像，若是，则执行步骤(4f)，否则，执行步骤(4a)；

(4f)将所有的映射字典组成人脸特征数据库；

(5)检测并跟踪图像的人脸区域：

(5a)对摄像头的视频流进行一次实时采样，采集一张图像；

(5b)判断当前检测人脸区域集合是否为空，若是，执行步骤(5c)，否则，执行步骤(5f)；

(5c)将采集的图像输入到检测深度学习网络中；

(5d)检测深度学习网络判断输入的图像中是否含有至少一个人脸区域，若是，则执行步骤(5e)，否则，执行步骤(5a)；

(5e)检测深度学习网络输出图像中所有的人脸区域，将输出图像中所有人脸区域组成一个人脸区域集合后执行步骤(5k)；

(5f)判断检测人脸区域是否替代了25次，若是，执行步骤(5j)，否则，执行步骤(5h)；

(5j)将检测人脸区域集合输入到C++的机器学习算法工具包的start_track函数中，得到跟踪人脸区域集合后执行步骤(5k)；

(5h)从检测人脸区域集合内，选择一个未选过的人脸区域，利用交并比公式，与上次采样图像的检测人脸区域集合内的所有人脸区域分别计算重叠度；

(5i)判断所有重叠度中的最大值是否大于0.2，若是，则所选人脸区域替换最大值对应的上次采样图像的人脸区域，否则，将所选人脸区域添加至上次采样图像的人脸区域集合；

(5j)判断是否选择完采样图像的检测人脸区域集合中的人脸区域，若是，执行步骤(5k)，否则，则执行步骤(5h)；

(5k)替代当前检测人脸区域集合；

(6)特征匹配：

(6a)将当前检测人脸区域集合中的每一个人脸区域输入到识别深度学习网络，输出每一个人脸区域对应的512维特征向量；

(6b)利用余弦相似度公式，计算每一个人脸区域的特征向量与人脸特征数据库的特征向量的相似度；

(7)判断特征匹配是否进行了50次，若是，执行步骤(8)，否则，执行步骤(5)；

(8)人脸识别：

将所有的余弦相似度中最大值大于0.23的人脸区域判定无效识别，在人脸数据库中找到其余的余弦相似度最大值对应的特征向量，通过特征向量找到该人脸区域对应的人的信息，完成人脸识别。