[发明专利]一种网纹人脸图像修复方法

摘要

本发明公开了一种网纹人脸图像修复方法，其目的在于修复网纹人脸图像提升人脸识别的性能。利用图像处理技术实现从网纹人脸图像中恢复出清晰人脸图像，其技术关键在于（1）利用Dlib库实现对人脸68个关键点的提取；（2）采用最小二乘实现人脸对称轴的拟合；（3）根据图像的像素信息对图像进行分割；（4）根据背景网纹的分布信息，分析得到的值并作为先验知识提取整幅图像的网纹；（5）利用拟合得到的人脸对称轴和提取到的网纹进行人脸修复。本发明所采用的方法实现了输入一张网纹人脸图像，输出即为去网纹的清晰人脸图像。本发明不仅提升了图像的视觉效果，还提高了网纹人脸图像的识别准确率。

主权项

1.一种网纹人脸图像修复方法，其特征在于包括如下步骤：步骤1：人脸关键点提取：利用Dlib库实现人脸68个关键点的提取，所述Dlib是一个包含机器学习算法的C++开源工具包，并且免费；Dlib库中具有基于回归树算法训练的人脸关键点模型；人脸关键点模型的输入为一张人脸图像，输出为人脸68个关键点的位置信息((x1，y1)，(x2，y2)…(x68，y68))；步骤2：人脸对称轴拟合：选取由步骤1得到的68个关键点中的第37，46，32，36，49，55这六个点进行人脸对称轴拟合，使用方程y＝Ax+B表示拟合的对称轴直线L；采用最小二乘法求出方程y＝Ax+B的两个参数A，B的公式为：其中，步骤3：网纹人脸图像分割：采用深度神经网络将网纹人脸图像I分割为背景I1,头发I2，皮肤I3，衣服I4；所述深度神经网络为全卷积网络，该网络包含7个卷积层，对第7个卷积层的输出进行上采样,使它恢复到与输入图像相同的尺寸，从而可以对每个像素都产生一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图对原网纹人脸图像上的每个像素进行分类；步骤4：网纹灰度信息分布提取：所需提取的信息为μ1，σ1，W，其中μ1表示I1′区域网纹像素值的均值，σ1表示I1′区域网纹像素值的标准差，W表示P′区域网纹线条的宽度；(4a)μ1和σ1的计算方法为：将I1转换为灰度图I1′，采用类间最大距离法选取阈值T，计算灰度级小于T的像素均值μ1和标准差σ1；所述阈值T的取值步骤为：①给定一个初始阈值T＝T0,将I1′分为C0和C1两类；②分别按照公式计算两类中的灰度均值μ₀，μ₁，其中i，j分别为像素点的横坐标与纵坐标，为第t类中的像素个数；③计算相随距离度量值S：④选择最佳阈值T＝T^*,使得图像按照该阈值分为C₀和C₁两类后，满足所述求μ1和σ1的公式为：(4b)W的计算方法为：对I1′进行二值化得到Mesh，Mesh的提取公式为：Mesh＝I1′(i,j)＝1,I1′(i,j)∈[μ1‑σ1,μ1+σ1]  (7)依次读取Mesh的像素值,当读取到像素值为1时，统计该像素点所在连通域中水平方向上像素值为1的个数记为w1；统计该像素点所在连通域中垂直方向上像素值为1的个数记为w2；统计该像素点所在连通域中斜45°方向上像素值为1的个数记为w3；统计该像素点所在连通域中斜135°方向上像素值为1的个数记为w4，选取w1,w2,w3，w4中的最小值记为该像素处的网纹宽度Wk；遍历Mesh后取均值即为估计的网纹宽度W；所述W的取值算法为：Wk＝min(w1,w2,w3,w4)  (9)其中m为Mesh中像素值为1的个数，k∈[1,m]；步骤5：网纹提取：利用中步骤4(4a)所述求阈值T和均值μ1方法，得到I2，I3，I4对应的μ2，μ3，μ4，且σ4＝σ3＝σ2＝σ1；为了提高人脸识别准确率，对μ2进行了优化；所述μ2优化公式为：μ2′＝λμ1+(1‑λ)μ2，其中λ为权重因子  (11)最终I2，I3，I4部分的网纹提取算法为：Mesh2＝I2(i,j)＝1,I2(i,j)∈[μ2′‑σ2,μ2′+σ2]  (12)Mesh3＝I3(i,j)＝1,I3(i,j)∈[μ3‑σ3,μ3+σ3]  (14)Mesh4＝I4(i,j)＝1,I4(i,j)∈[μ4‑σ4,μ4+σ4]  (16)依次读取Mesh₁,Mesh₂,Mesh₃,Mesh₄的像素值，当时，像素值为1处的区域不做更改，时，像素值为1处的区域的像素值为0；步骤6：人脸图像修复：根据步骤2得到人脸对称轴以及步骤5提取得到的网纹对人脸图像进行修复，判断对称轴左右相同距离l处是否为网纹覆盖区域。