[发明专利]被网纹覆盖的人脸图片的修复方法

摘要

本发明涉及被网纹覆盖的人脸图片的修复方法，其特征在于该方法通过先提取网纹边缘，再进行去除网纹、最后填补网纹并对整幅图像进行平滑处理，达到还原人脸的目的；具体步骤如下：步骤S1，图片预处理：将需要处理的图片进行行获取，获得待处理图片的图片高度rol和图片宽度row，以像素点为单位，得到待处理图片的图片大小为rol×row；再将待处理图片进行double格式转换；将进行double格式转换后的图片大小进行处理，使图片高度为220、88或118，对应的图片宽度为178、72或96；步骤S2，对图片进行归类，建立坐标系，定位初始区域：步骤S3，利用边缘检测提取网纹边缘，进行去除网纹操作：步骤S4，提取掩膜、填补网纹并平滑图像。

主权项

1.被网纹覆盖的人脸图片的修复方法，其特征在于该方法通过先提取网纹边缘，再进行去除网纹、最后填补网纹并对整幅图像进行平滑处理，达到还原人脸的目的；具体步骤如下：步骤S1，图片预处理：将需要处理的图片进行行获取，获得待处理图片的图片高度rol和图片宽度row，以像素点为单位，得到待处理图片的图片大小为rol×row；再将待处理图片进行double格式转换；将进行double格式转换后的图片大小进行处理，使图片高度为220、对应的图片宽度为178，使图片高度为88、对应的图片宽度为72或者使图片高度为118、对应的图片宽度为96；步骤S2，对图片进行归类，建立坐标系，定位初始区域：根据上述步骤S1预处理的图片的大小分为三类，即图片大小为220×178、88×72或118×96；判断步骤S1预处理后的图片属于三类中的哪一类图片大小；接着对人眼范围进行定位，以处理后图片的左上角顶点为原点，以横向为x轴，纵向为y轴，x轴从左至右数值越来越大，y轴从上到下数值越来越大，建立xy坐标系；设定以下相关参数：左眼x坐标比例系数为a，右眼x坐标比例系数为c，左右眼y坐标比例系数均为d，定位半径为r；根据步骤S1预处理的图片的大小设定不同比例系数，当图片大小为220×178，则a＝0.387、c＝0.645、d＝0.41、r＝14；当图片大小为88×72，则a＝0.38、c＝0.65、d＝0.38、r＝4；当图片大小为118×96，则a＝0.365、c＝0.645、d＝0.375、r＝8.5；通过上述所设定参数定位出眼睛及周边半径为r的区域，即定位得到人眼的初始区域；步骤S3，利用边缘检测提取网纹边缘，进行去除网纹操作：采集步骤S1预处理后的图片，对图片进行遍历，获取图片的所有像素点的R,G,B通道像素值，利用所有像素点的R,G,B通道像素值进行边缘检测求解每个像素点的梯度差，利用边缘检测得到人物轮廓区域；同时利用每个像素点的梯度差进行网纹边缘提取，获取网纹边缘区域，在获取网纹边缘后，采用白色像素点(255,255,255)对检测到的网纹边缘区域进行赋值，完成去除网纹的操作，得到去除网纹后的空白区域；步骤S4，提取掩膜、填补网纹并平滑图像：产生虹膜掩膜和人物轮廓边缘掩膜，并进行掩膜制作，平滑图像，输出图片结果；具体步骤是：S41，在步骤S3得到的空白区域选取空白像素点(x0，y0)，再在空白像素点(x0，y0)周边按照“X型”结构选取20个邻近像素点，对这20个邻近像素点进行R通道像素值大小比较并排序，然后选取R通道像素值位于前四的四个邻近像素点，这四个邻近像素点的R通道像素值由大到小分别记为Rout1、Rout2、Rout3和Rout4，对应的G通道像素值分别记为Gout1、Gout2、Gout3和Gout4，B通道像素值分别记为Bout1、Bout2、Bout3和Bout4；S42，将步骤S41中得到的四个邻近像素点与空白像素点(x0，y0)的R,G,B通道像素值(R0,G0,B0)分别按照公式(1)进行梯度差计算，其中，i＝1、2、3、4，Ti为梯度差；S43，设定人物轮廓阈值为155，将步骤S42得到的梯度差Ti(T1，T2，T3，T4)进行比较大小，然后排序，选出最大的梯度差数值与设定的人物轮廓阈值进行比较，Ti中最大的数值大于人物轮廓阈值155，即得到人物轮廓边缘掩膜，通过人物轮廓边缘掩膜对人物轮廓边缘进行掩膜制作；反之，则不进行任何操作，进入步骤S44；S44，利用步骤S2中设定的相关参数，定位出人眼的初始区域范围，选取该初始区域中3×3大小的子区域Ir，该子区域的R通道的像素值分别记为Ra01、Ra02、……、Ra09，具体结构如下表所示，Ra01Ra02Ra03Ra04Ra05Ra06Ra07Ra08Ra09在此初始区域内进行卷积运算，卷积因子α为：利用Gp＝α*Ir，计算出Gp，Gp＝Ra02+Ra04+Ra06+Ra08，即Gp表示Ra02、Ra04、Ra06、Ra08四个位置R通道像素值之和；设定虹膜阈值为530，将Gp与虹膜阈值进行比较，若Gp<530，定位得到虹膜掩膜区域，则将虹膜掩膜区域进行虹膜周边掩膜制作；若Gp>530，则不进行任何操作，进入步骤S45；S45，将经步骤S44定位得到的虹膜掩膜区域进行虹膜周边掩膜制作操作，设定上限虹膜阈值为1.3，下限虹膜阈值为0.75，在虹膜掩膜区域选取虹膜像素点(x,y)，再在该虹膜像素点(x,y)上下位置选取邻近的十个参照像素点，这十个参照像素点的R通道像素值分别为R101、R102、R103、R104、R105、R108、R109、R110、R111和R112，R101、R102、R103、R104和R105所在位置与R108、R109、R110、R111和R112所在位置相对虹膜像素点(x，y)呈上下对称结构，利用公式(6)的比例关系，求解得到Gpr，Gpr＝(R101+R102+R103+R104+R105)/(R108+R109+R110+R111+R112)     (6)比较Gpr与上限虹膜阈值和下限虹膜阈值的大小，若Gpr小于下限虹膜阈值0.75或者Gpr大于上限虹膜阈值1.3，则对虹膜像素点(x,y)进行虹膜周边掩膜制作；若0.75≤Gpr≤1.3，则不进行任何操作，进入步骤S46；S46，在整幅图片上选取3×3大小的子区域Ir₀，子区域Ir₀的结构同步骤S44中的子区域Ir，对子区域Ir₀进行边缘检测，并进行卷积运算，横向卷积因子Gx为：纵向卷积因子Gy为：利用公式(7)和(8)分别计算Grx和Gry，Grx和Gry分别对应横向边缘检测R通道值和纵向边缘检测R通道值；根据公式(9)计算得到边缘填补梯度差Gr，Grx＝Gx*Ir₀                       (7)Gry＝Gy*Ir₀                       (8)S47，设定边缘填补阈值为60，将边缘填补梯度差Gr与设定的边缘填补阈值60进行比较，若Gr<60，将按照步骤S41得到的位于前二的R通道像素值Rout1、Rout2，同时获得相对应的G通道的像素值Gout1、Gout2和B通道的像素值Bout1、Bout2，分别按照公式(10)‑(12)对R，G，B通道进行加和求平均，得到R通道上平均值Rm，G通道上平均值Gm，B通道上平均值Bm，Rm＝(Rout1+Rout2)/2                        (10)Gm＝(Gout1+Gout2)/2                        (11)Bm＝(Bout1+Bout2)/2                        (12)分别用Rm，Gm，Bm填补检测到的网纹边缘处的R,G,B通道像素值；若Gr≥60，则进行步骤S48；S48，在整幅图片的非网纹边缘处选取平滑像素点(x1，y1)，再在该平滑像素点(x1，y1)周边按照“X型”结构选取20个邻近像素点，同步骤S41，选取R通道像素值位于前四的四个邻近像素点，分别用公式(13)‑(15)计算这四个邻近像素点各通道的均值，分别记为R1、G1、B1；除了之前的虹膜掩膜和人物轮廓边缘掩膜提取区域，将R1、G1、B1代替该平滑像素点(x1，y1)的R,G,B通道像素值，实现对整张图片的平滑处理，输出图片结果；R1＝(Rout1+Rout2+Rout3+Rout4)/4                  (13)G1＝(Gout1+Gout2+Gout3+Gout4)/4                  (14)B1＝(Bout1+Bout2+Bout3+Bout4)/4                  (15)。