[发明专利]一种网纹人脸图像修复方法

权利要求书

1.一种网纹人脸图像修复方法，其特征在于包括如下步骤：

步骤1：人脸关键点提取：利用Dlib库实现人脸68个关键点的提取，所述Dlib是一个包含机器学习算法的C++开源工具包，并且免费；Dlib库中具有基于回归树算法训练的人脸关键点模型；人脸关键点模型的输入为一张人脸图像，输出为人脸68个关键点的位置信息((x₁，y₁)，(x₂，y₂)…(x₆₈，y₆₈))；

步骤2：人脸对称轴拟合：选取由步骤1得到的68个关键点中的第37，46，32，36，49，55这六个点进行人脸对称轴拟合，使用方程y＝Ax+B表示拟合的对称轴直线L；

采用最小二乘法求出方程y＝Ax+B的两个参数A，B的公式为：

其中，

步骤3：网纹人脸图像分割：采用深度神经网络将网纹人脸图像I分割为背景I₁,头发I₂，皮肤I₃，衣服I₄；所述深度神经网络为全卷积网络，该网络包含7个卷积层，对第7个卷积层的输出进行上采样,使它恢复到与输入图像相同的尺寸，从而可以对每个像素都产生一个预测,同时保留了原始输入图像中的空间信息,最后在上采样的特征图对原网纹人脸图像上的每个像素进行分类；

步骤4：网纹灰度信息分布提取：所需提取的信息为μ₁，σ₁，W，其中μ₁表示I₁′区域网纹像素值的均值，σ₁表示I₁′区域网纹像素值的标准差，W表示P′区域网纹线条的宽度；

(4a)μ₁和σ₁的计算方法为：将I₁转换为灰度图I₁′，采用类间最大距离法选取阈值T，计算灰度级小于T的像素均值μ₁和标准差σ₁；

所述阈值T的取值步骤为：

①给定一个初始阈值T＝T₀,将I₁′分为C₀和C₁两类；

②分别按照公式计算两类中的灰度均值μ₀，μ₁，其中i，j分别为像素点的横坐标与纵坐标，为第t类中的像素个数；

③计算相随距离度量值S：

④选择最佳阈值T＝T^*,使得图像按照该阈值分为C₀和C₁两类后，满足

所述μ₁和σ₁的计算公式为：

(4b)W的计算方法为：对I₁′进行二值化得到Mesh，Mesh的提取公式为：

Mesh＝I₁′(i,j)＝1,I₁′(i,j)∈[μ₁-σ₁,μ₁+σ₁] (7)

依次读取Mesh的像素值,当读取到像素值为1时，统计该像素点所在连通域中水平方向上像素值为1的个数记为w₁；统计该像素点所在连通域中垂直方向上像素值为1的个数记为w₂；统计该像素点所在连通域中斜45°方向上像素值为1的个数记为w₃；统计该像素点所在连通域中斜135°方向上像素值为1的个数记为w₄，选取w₁,w₂,w₃，w₄中的最小值记为该像素处的网纹宽度W_k；遍历Mesh后取均值即为估计的网纹宽度W；

所述W的取值算法为：

W_k＝min(w₁,w₂,w₃,w₄) (9)

其中m为Mesh中像素值为1的个数，k∈[1,m]；

步骤5：网纹提取：利用中步骤4(4a)所述阈值T和均值μ₁计算方法，得到I₂，I₃，I₄对应的μ₂，μ₃，μ₄，且σ₄＝σ₃＝σ₂＝σ₁；为了提高人脸识别准确率，对μ₂进行了优化；

所述μ₂优化公式为：

μ₂′＝λμ₁+(1-λ)μ₂，其中λ为权重因子 (11)

最终I₂，I₃，I₄部分的网纹提取算法为：

Mesh₂＝I₂(i,j)＝1,I₂(i,j)∈[μ₂′-σ₂,μ₂′+σ₂] (12)

Mesh₃＝I₃(i,j)＝1,I₃(i,j)∈[μ₃-σ₃,μ₃+σ₃] (14)

Mesh₄＝I₄(i,j)＝1,I₄(i,j)∈[μ₄-σ₄,μ₄+σ₄] (16)

依次读取Mesh₁,Mesh₂,Mesh₃,Mesh₄的像素值，当时，像素值为1处的区域不做更改，时，像素值为1处的区域的像素值为0；

步骤6：人脸图像修复：根据步骤2得到人脸对称轴以及步骤5提取得到的网纹对人脸图像进行修复，判断对称轴左右相同距离l处是否为网纹覆盖区域；步骤6具体包括如下步骤：

(6a)：当对称轴左右两边相同距离处，左边是网纹覆盖区域，右边是非网纹覆盖区域时，使左边的像素值等于右边的像素值；

所述赋值方法为：

I(i,j-l)＝I(i,j+l) (18)

其中，I(i,j-l)为左边网纹覆盖区域的像素值，I(i,j+l)为右边非网纹覆盖区域的像素值；

(6b)：当对称轴左右两边相同距离处，右边是网纹覆盖区域，左边是非网纹覆盖区域时，使右边的像素值等于左边的像素值；

进一步的，所述赋值方法为：

I(i,j+l)＝I(i,j-l) (19)

其中，I(i,j-l)为左边非网纹覆盖区域的像素值，I(i,j+l)为右边网纹覆盖区域的像素值；

(6c)：当对称轴左右两边相同距离处都是非网纹覆盖区域时，不做任何改变；

(6d)：当对称轴左右两边相同距离处都是网纹覆盖区域时，搜索I(i,j-l)周围8个最近邻的非网纹像素值，记为p₁、p₂、p₃、p₄、p₅、p₆、p₇、p₈，像素I(i,j-l)与p₁、p₂、p₃、p₄、p₅、p₆、p₇、p₈的距离记为d₁、d₂、d₃、d₄、d₅、d₆、d₇、d₈；I(i,j+l)周围8个最近邻的非网纹像素值，记为p₉、p₁₀、p₁₁、p₁₂、p₁₃、p₁₄、p₁₅、p₁₆，像素I(i,j+l)与p₉、p₁₀、p₁₁、p₁₂、p₁₃、p₁₄、p₁₅、p₁₆距离记为d₉、d₁₀、d₁₁、d₁₂、d₁₃、d₁₄、d₁₅、d₁₆；

当时，

当时，