[发明专利]一种基于深度学习的快速人脸检测识别方法

摘要

本发明公开了一种基于深度学习的快速人脸检测识别方法，该方法包括离线网络搭建部分和在线流程设计部分。对于离线网络搭建部分，本发明设计的网络结构针对不同的尺度人脸分别训练检测器，区别于现有方法中在进行人脸检测时采用单一尺度的模板网络，并采用构建图像金字塔以多任务的方式训练和运行尺度特定的检测器。对于在线流程设计部分，设计使用FIFO的list的数据结构思想建立实时人脸特征缓冲池结构，将过程中最耗时的实时特征提取部分移到整个过程的最前端，以身份证读卡器对于身份证的检测作为触发点，并提出建立结果匹配映射表的方法，在三个方面进行创新，有效节省整个过程的时间，实现快速的人脸检测识别，得出人证是否合一的准确判断。

主权项

1.一种基于深度学习的快速人脸检测识别方法，其特征在于：该方法包括离线网络搭建部分和在线流程设计部分；离线网络搭建部分是搭建与训练快速人脸检测特征提取深度学习网络框架，而在线流程设计部分是快速人脸检测和人脸识别的流程设计与展示；离线网络搭建部分包含三个核心模块，即：快速人脸检测模块、面部关键点定位模块和人脸特征提取模块；在线流程设计部分包括：实时人脸图像与身份证人脸图像检测与特征采集；实时人脸特征暂存入缓冲池；特征相似性度量分析；快速人脸质量评价；通过在线流程设计部分完成从实时采集人脸图像与身份证图像进行特征提取、相似性度量到得出人脸相似度，最终确定实时采集人脸图像与身份证图像是否合一；所述的离线网络搭建部分，具体内容如下：快速人脸检测特征提取网络搭建与训练；参照人脑对于人脸的检测识别的过程利用神经网络进行拟合，设计的网络结构分为三个基本核心模块，即：快速人脸检测模块、面部关键点定位模块和人脸特征提取模块；(1)快速人脸检测模块采用先构建图像金字塔，再结合级联结构和多层神经网络的快速人脸检测方法实现，其中，所采用级联结构是专门针对多姿态人脸检测的漏斗型级联结构即FuST；将不同尺寸大小的图像分别输入到相对应的网络；在经过图像金字塔的变换后，FuST级联结构在顶部由多个针对不同姿态的快速局部编码二值模式特征(Locally Assembled Binary，LAB)级联分类器构成，首先对输入图像进行快速检测；紧接着是若干个基于加速稳健特征(Speeded Up Robust Features,SURF)的多层感知机(Multi‑layer Perceptron,MLP)级联结构，粗检出输入图像中的人脸区域；最后由统一的MLP级联结构(同样基于SURF特征)来处理所有姿态的候选窗口作为精检，整体上呈现上宽下窄的漏斗形状；(2)面部关键点定位模块采用了两级级联；CFAN级联2级栈式自编码器网络，其中每一级都刻画从人脸表观到人脸形状的部分非线性映射；在第一模块中检测到的人脸区域输入到本模块，第一级自编码器网络直接从该人脸的低分辨率版本中快速估计大致的人脸形状F0；然后，在网络中逐步提高输入人脸图像的分辨率，并抽取当前人脸形状F0各特征点位置的局部特征，与此同时相应提升待检测人脸图像的分辨率，输入到下一级自编码器网络来进一步优化人脸对齐结果；通过级联两个栈式自编码器网络，在分辨率的人脸图像上优化人脸对齐结果，得到最终五个面部关键特征点的精确定位，五个面部关键特征点分别为两眼中心、鼻尖和两个嘴角；(3)人脸特征提取模块是此过程的核心步骤，采用卷积神经网络来学习特征提取器；具体而言，该核心步骤实现的是深度卷积神经网络VIPLFaceNet：包含7个卷积层与2个全连接层的DCNN；该网络使用140万人脸图像作为训练，这些训练图像来自于约1.6万人，经过反复迭代，达到最终的模型，保存在文件当中；所述的在线流程设计部分，具体内容如下：此快速人脸检测识别方法的主要流程为：开启摄像头后，调用离线部分已训练好的人脸检测网络对画面中的图像进行实时检测，一旦检测到人脸图像后调用特征提取网络进行人脸的特征提取，并将特征循环存入缓冲池中，由于在人脸检测的过程中，提取特征的部分计算效率最低，因此采用缓冲池方法将此耗时步骤提前完成，节省了后续的时间，从而在第一方面实现了快速；与此同时借助身份证检测设备对于身份证进行检测，当检测到身份证后立即对身份证人脸图像进行特征提取，并与缓冲池中的特征一一进行相似性度量，与所设人脸比较的阈值进行比较；之后依据目前缓冲池中的特征数量建立相应的结果匹配映射表，得出最终的相似度的结果以及人证是否合一的判定结果；这种建立结果匹配映射表的方式是以大于阈值的匹配数量与目前总的匹配数量之比作为结果输出，不必像现有方法采用的必须到达固定的匹配结果数，这样保证了系统的实时性，同时增加了结果的置信度，并且在第二个方面实现了快速的人脸检测识别方法；具体的步骤设计如下：(1)实时人脸图像与身份证人脸图像检测与特征采集为了实现快速的人脸检测识别，将整个检测过程中最耗时的特征提取步骤进行预先处理，通过摄像头对现场人脸图像进行实时采集，利用训练得到的模型对于图像进行人脸检测，一旦检测到人脸立即进行关键五点的标定以及利用训练好的网络进行2048维的人脸特征向量提取；与此同时，利用身份证读卡器对于身份证进行检测，一旦检测到身份证后立即对身份证图像进行人脸检测以及特征采集；(2)实时人脸特征暂存入缓冲池为了减少检测到身份证后再计算现场人脸特征这一步骤的时间消耗，设计了特征缓冲池的操作，主要目的是将第一步骤中提取到的实时人脸特征暂时保存；缓冲池采用了FIFO的list的数据结构思想，存放提取的现场10张人脸特征，并且在标准模板库(Standard Template Library，STL)的队列提供遍历的功能，使用指针对每一个特征进行操作，实现快速人脸检测识别；(3)相似性度量分析特征相似性度量分析，也就是人脸识别的本质——计算两幅图像中人脸的相似程度；考虑到精度与速度的均衡，采用Cosine计算相似度；也就是将实时人脸图像的特征与身份证图像的特征提取出来后进行相似性度量，得出每一组比较的相似度分数；(4)快速人脸质量评价模拟人脑对于人识别的过程，将两幅人像的相似度进行阈值比较，选定适当阈值以后，根据当前缓冲池中的所有人脸特征数量动态地映射出所满足阈值的个数，只要大于这个个数就能够判定现场人脸与身份证人脸是否为同一个人，从而快速得出人证是否合一的结论；对于在线流程设计部分，使用FIFO的list的数据结构思想建立实时人脸特征缓冲池结构，将过程中最耗时的实时特征提取部分移到整个过程的最前端，以身份证读卡器对于身份证的检测作为触发点，并提出建立结果匹配映射表的方法，在三个方面进行创新，有效节省整个过程的时间，实现快速的人脸检测识别，得出人证是否合一的准确判断。