[发明专利]一种基于人脸关键点的证件照局部异常检测方法

权利要求书

1.一种基于人脸关键点的证件照局部异常检测方法，其特征在于，包括以下步骤：

步骤一、采用Adaboost算法审核用户上传的证件照是否检测到人脸，如果是，则输出人脸区域进入后续检测是否异常；如果未检测到人脸则输出检测结果：证件照不合格，原因：未检测到人脸；

步骤二、收集图片和证件照形成数据集，对证件照提取人脸区域进行人脸轮廓检测并根据轮廓提取候选窗口，训练多类分类模型得到面部特征分类，并为左眼和右眼，鼻子，嘴巴和左嘴巴，嘴巴和右嘴巴四种模式训练回归模型来获得左眼中心、右眼中心、鼻尖、左嘴角、右嘴角5个关键点；

步骤三、使用MobileNet拟合回归函数完成遮挡检测，预测人脸关键点的遮挡状态，当模型输出大于阈值时，关键点的遮挡状态为1，表示该点异常，则输出检测结果：证件照不合格，原因：人脸遮挡异常；利用5个关键点构造几何特征，根据判定规则判断证件照中的人像是否为姿态端正，如果否，则输出检测结果：证件照不合格，原因：姿态未端正；

步骤四、汇总、并输出审核结果。

2.根据权利要求1所述的基于人脸关键点的证件照局部异常检测方法，其特征在于，所述Adaboost算法运用离线学习的分类器进行人脸检测，基于Harr矩形特征积分图进行级联检测，并通过迭代的方法从众多弱分类器中选取分类效果较好的值进行组合，加权分配得到不同的权重，形成最后的强分类器；采取Cascade的策略逐层验证能排除大量的非人脸样本，弱分类器为G_m(t)：t→{-1，+1}，强分类器由弱分类器组成，最终分类器：

其中m＝1，2，...，M，s＝1，2，...，S，M代表迭代的是第几轮，S表示组成哈尔特征的矩形个数，g(t)是弱分类器的组合，α_m代表了G_m(t)在最终分类器中的重要性，利用该算法检测用户上传照片是否有人脸，如果有，则输出的人脸图像作为下一步的输入；否则输出检测结果：证件照不合格，原因：未检测到人脸。

3.根据权利要求1所述的基于人脸关键点的证件照局部异常检测方法，其特征在于，所述步骤二具体包括以下步骤：

步骤B1、对照片进行人脸轮廓检测提取候选窗口；输入人脸图像并将图像转换为大小300×300的灰度图像，进行精确的检测和搜索轮廓；对每个轮廓做循环，并输出候选窗口，根据重叠率对部分窗口进行了移除；

步骤B2、训练一个多类分类模型，并通过分类得到面部特征；将数据集中每个样本标注5个关键点的坐标信息，并从人脸的其他部分和其他非人脸图像中裁剪出负样本；定义四类：左眼和右眼；鼻子；嘴巴，左嘴巴和右嘴巴；负样本；训练目标损失函数：z_y和z_j分别表示标号为y和j的样本的预测结果，J表示类数；

多类分类模型网络结构：包含4个卷积层，2个全连接层的神经网络结构，输入39×39大小的图片，卷积层C1、C2、C3、C4分别选取4×4，3×3，4×4，3×3的卷积核进行卷积运算，每次卷积都以2×2大小的窗口进行最大池化，最后得到2×2×80的特征图输入全连接层，完成训练得到多类分类模型；

步骤B3、训练四种模式的回归模型来获得关键点；四种模式分别为：左眼和右眼；鼻子；嘴巴和左嘴巴；嘴巴和右嘴巴；使用欧几里德损失：其中为从网络中得到面部地标坐标，为地真坐标，I为样本数；为每个关键点训练一个模型，因此

回归模型网络结构：包含2个卷积层，2个全连接层的神经网络结构，输入15×15大小的图片，卷积层C1、C2分别选取4×4，3×3的卷积核进行卷积运算，每次卷积都以2×2大小的窗口进行最大池化，最后得到2×2×40的特征图输入全连接层。

4.根据权利要求1所述的基于人脸关键点的证件照局部异常检测方法，其特征在于，所述步骤三中进行遮挡检测并利用关键点构造几何特征具体包括以下步骤：

步骤C1、使用MobileNet拟合回归函数完成遮挡检测，训练数据集其中包含人脸图像X_n和对应的D_l维{0，1}遮挡状态D_l是关键点数目；回归模型通过优化以下目标来实现X_n映射到H_n：其中是特征提取函数，f是目标回归函数；经过一定的阈值分割后，将该向量变换为D_l维[0，1]布尔向量，即输出人脸区域的预测遮挡状态；

步骤C2、根据关键点信息判断照片是否异常：其5个关键点输出形式为和表示关键点的坐标位置，当时显示红色关键点，表示该点为异常遮挡，输出检测结果：证件照不合格，原因：眼部/嘴部/鼻子遮挡异常；当时显示为绿色关键点，表示该点正常，继续下一步操作。

步骤C3、利用5个关键点构造几何特征，根据判定规则判断证件照中的人像是否为姿态端正具体包括以下步骤：

构造的特征包括：双眼在垂直方向的距离，双眼与鼻尖连线的距离比，双眼中点到鼻子距离与双嘴角中点到鼻子距离之比。

双眼在垂直方向的距离CD，左眼为A，右眼为B，将A与B在垂直方向的距离作为头部偏斜判断标准；当大于阈值时，判定为左右偏斜；

双眼与鼻尖连线的距离比左眼与鼻尖的连线为OA，右眼与鼻尖的连线为OB，将线段OA与OB的比值作为头部偏斜判断标准；头部的旋转偏斜会影响该比值的大小：头部向左旋转偏斜OA小于OB，则小于1，头部向右旋转偏斜OA大于OB，则小于1；否则，该比值趋近于1，即线段OA与线段OB的长度相等；

双眼中点到鼻子距离与双嘴角中点到鼻子距离之比点X是双眼连线的中点，线段OX是鼻尖与双眼中点的连线；而点Y是双嘴角连线的中点，线段OY是鼻尖到双嘴角中点的连线；线段OX与线段OY长度的比值可以作为头部偏斜判断的标准；当抬头时，线段OX变短，线段OY变长，比值随之变小；当低头时，线段OX变长，线段OY变短，比值随之变大；

对判定头部偏斜的特征都分别设定阈值，当该特征超过阈值时，输出结果：证件照不合格，原因：姿态未端正。