[发明专利]基于Android的证件照合规性检测方法及系统

权利要求书

1.一种基于Android的证件照合规性检测方法，其特征在于，包括以下步骤：

步骤S1：检测图片是否存在人脸并确定五官关键点位置；

步骤S2：将检测到的人脸框提取出来，进行眼部、嘴部、头部姿态判断；

步骤S3：对姿态判断检测合格的图片进行人像分割，进行证件照背景制作，制作各种底色的证件照以供选择；

步骤S4：对要比较的图片进行人脸检测，对人脸框中的特征进行人脸比对，判断两张图片人脸相似度；

所述步骤S1中，采用MTCNN算法检测图片是否存在人脸并确定五官关键点位置，具体包括以下步骤：

步骤S11：获取公开的人脸检测训练集，并获得训练数据的相关标注；

步骤S12：对人脸检测训练集中的人脸图像进行图像预处理，利用小波去噪模型对图像进行噪声处理，并对图片进行大小和质量的压缩，然后将图片进行对角线翻转；

步骤S13：对图片进行金字塔缩放，设置缩放因子factor，同时设置图片的最大边长，将图片进行迭代缩放，直到边长不大于最大边长则满足条件；

步骤S14：将处理好的图片传入P-Net网络层，进行粗略的图像处理，获取候选人脸框以及人脸框回归向量；基于人脸框回归向量对候选人脸框进行校正；然后采用非极大值抑制合并高重叠率的候选人脸框；

步骤S15：将所有候选人脸框传入R-Net网络层，该网络进一步拒绝大量错误的候选人脸框，使用边界框回归进行校准，并合并非极大值抑制候选人脸框；

步骤S16：将R-Net输出的候选人脸框使用更复杂的O-Net网络层，进一步精化结果并输出5个人脸特征点，这一阶段用更多的监督来识别人脸区域，而且网络能够输出五个人脸特征点位置坐标；

步骤S17：设p_i为网络产生的概率，用于判断图片中存在人脸的概率，i为图片中的某个人脸；符号表示真实标签，计算交叉熵损失其计算公式如下：

步骤S18：损失函数仅计算以直接使用样本类型指示符来实现；然后整体学习目标表示为：

其中，K是训练样本的数量，α表示任务重要性，i表示图片中的某个人脸，det表示人脸二元分类，是样本类型指示器；

所述步骤S2具体包括以下步骤：

步骤S21：将步骤S1中获得的人脸框作为特征提取模型的输入，采用步骤S1中获得的人脸关键点来进行头部姿态识别，选取左眼(x₁,y₁)、右眼(x₂,y₂)、鼻子(x₃,y₃)以及人脸框的长度M和宽度N；首先计算人脸图像的几何中心E：

E＝(M/2,N/2)

步骤S22：根据左右眼的坐标计算眼睛之间的距离D：

步骤S23：计算左眼和右眼分别到鼻子的距离：

步骤S24：计算头部转向的偏转角度从而根据结果来进行头部姿态的判断：

步骤S25：利用人脸框获取人脸的68个特征点，利用眼部特征点来判断眼睛的开合程度；通过计算眼睛六个关键点之间的横纵比，即眼睛长宽比EAR，设置阈值来判断眼睛是否是睁开状态；计算方法如下：

其中，a₁，a₂，a₃，a₄，a₅，a₆为眼睛的六个关键点；

步骤S26：提取嘴部的六个主要关键点，分别是68个特征点中的51、59、53、57的纵坐标以及49、55的横坐标，进行嘴部开合判断；通过计算嘴巴的开合程度MAR，判断MAR与阈值之间的关系，完成嘴部状态判断，计算方法如下：

其中，X表示嘴部关键点的横坐标，Y表示嘴部关键点的纵坐标，下标为嘴部关键点的具体编号；

步骤S27：基于68个人脸关键点，提取其中的鼻尖、左眼角、右眼角、左嘴角、右嘴角的六个关键点，来进行头部姿态的3维姿态判断，通过六个关键点来计算脸部的旋转向量，并将旋转向量转化为欧拉角，利用计算的三个欧拉角来判断脸部在空间中的转向结果，从而得到人脸的转向角度的具体结果；

所述步骤S3具体包括以下步骤：

步骤S31：对于姿态状态判断为正常的图片进行图像预处理，首先对图像进行归一化，求出图像整体的均值，求出每一个像素点与均值的差值，对差值为0的图像求出方差，并用非零像素点除以方差，达到归一化效果；

步骤S32：对图像进行粗分割，选取ResNet50作为网络模型，使用残差块将若干层的数据输出直接通过跳跃连接引入到后面的数据层作为输入，然后利用空洞卷积对输出结果进行处理，得到三分类的黑白图像；其中残差块的计算方法如下：

t＝σ(F(c)+c)＝σ(w₂σ(w₁c)+c)

其中，c为网络的输入，t为网络的输出，σ为relu激活函数，w₁和w₂表示两层卷积的映射参数；

步骤S33：对UNet网络进行精简，减少参数的个数，减少各个尺度的特征通道数，并在每一个卷积层都加上批量归一化来加速收敛；将粗分割得到的黑白图导入到简化版的UNet网络结构进行细分割，直接计算生成alpha掩模图；

步骤S34：对alpha掩模图中的边缘元素点和背景图元素点进行元素点融合处理，调整融合参数进行边缘的平滑过渡，最终完成黑白、蓝色、红色、白色证件照的图片制作；

所述步骤S4中，采用基于人脸特征相似度分数似然比的计算方法对人脸框中的特征进行人脸比对，判断两张图片人脸相似度，具体包括以下步骤：

步骤S41：从图库中选择要比较的两张图片，分别为制作的证件照和身份证照片，分别对两张图片进行步骤S1的人脸检测，判断图片中是否存在人脸；

步骤S42：提取两张图片中的人脸框，分别对人脸框进行加厚，厚度为N/100，其中N为步骤S2中的人脸框的宽度，保存加厚的人脸框，进行特征提取；

步骤S43：将提取到的特征值分别用u、v来表示，其中u为第一张人脸的特征，v为第二张人脸的特征，利用特征计算似然比，计算方法如下：

其中u为第一个人脸框的特征向量，v为第二个人脸框的特征向量，f表示特征向量u和v的概率密度分布，I表示背景的信息，H_p表示为是同一个人的概率事件，H_d表示为不是同一个人的概率事件。