[发明专利]一种基于平面网格模型的虚拟试妆方法

摘要

本发明公开了一种基于平面网格模型的虚拟试妆方法，包括下述步骤：S1，导入化妆品效果照片，并进行平面网格模型的处理；S1.1，平面网格模型的建立；平面网格模型采用的建模工具为3dsmax建模软件，其建模方式采用多边形建模，首先用线将平面网格模型的结构表现出来，然后进行面、片的拼接；本发明利用人脸识别与追踪、人脸特征点提取、图像处理等技术，可以有效地达到对视频中的人脸进行动态上妆效果，从而达到虚拟试妆的功能，试妆者可以灵活调整脸部每一个需要化妆的部位，只需要一台带有摄像头的电脑或一部手机即可，这样可以给试妆者带来较好的方便性和简洁性，降低化妆成本，具有较好的应用价值。

主权项

1.一种基于平面网格模型的虚拟试妆方法，其特征在于，包括下述步骤：S1，导入化妆品效果照片，并进行平面网格模型的处理；S1.1，平面网格模型的建立；平面网格模型采用的建模工具为3dsmax建模软件，其建模方式采用多边形建模，首先用线将平面网格模型的结构表现出来，然后进行面、片的拼接；为了保证平面网格模型的纹理与提取到的特征点进行映射，因此将平面网格模型制作成含有68个顶点的平面网格模型；将构建好的平面网格模型导出为OBJ的文件格式，然后导入Unity3D引擎中并给平面网格模型赋予材质，为其设置两个纹理，即主纹理和掩膜纹理，其中主纹理为标准人脸图片，掩膜纹理用来控制主纹理在平面网格中的显示区域，则需要这两个纹理大小相同；掩膜纹理控制主纹理具体方法为：分别获取该两个纹理的R、G、B、A四个通道，然后通过掩膜纹理的四个通道与主纹理的A通道进行分层操作，采用单一的线性叠加模型如下述公式(1)所示，从而达到掩膜纹理控制主纹理显示的效果：(1)式中，Cd、Cm分别为主纹理和掩膜纹理对应的颜色分量，Cp为所生产化妆人脸图像的颜色分量，i为对应像素点的下标，k表示控制颜色分量的扰动参数，其默认值为1，d为掩膜纹理的像素区域；S1.2，网格模型纹理的多边形填充；采用扫描线算法对主纹理进行多边形区域填充，根据S1.1中的平面网格模型的68个顶点纹理坐标，确定需要进行填充的多边形区域，然后从上到下对多边形区域进行扫描，在扫描过程中，先确定扫描线与填充区域边界的交点，并按x轴坐标排序，使其两两成对作为两个端点，然后将填充色应用于每一条扫描线的像素上；S1.3，填充纹理的逻辑运算；对多边形纹理进行逻辑运算从而达到网格模型掩膜纹理控制模型主纹理的显示区域，多边形纹理的逻辑运算通常是处理二值图像，故在多边形填充时，为多边形填充的是白色，图像之间的逻辑运算主要采用异或运算，设A和B表示两幅多边形图像，像素之间保留A中不属于B的区域，即图像A中第m个区域中存在至少一个这样的像素，该像素也存在于图像B中，则将图像B中存在的像素只留下属于A但不属于B的区域；S2，提取视频中的人脸特征点，并进行视频帧序列中人脸区域处理；S2.1，视频帧序列中人脸的光照补偿；采用Gamma函数对光照补偿，Gamma函数矫正通常对γ值进行选取，图像中每个像素均以同一个γ值进行矫正，如下述公式(2)所示：(2)式中，O(x,y)为输出图像，F(x,y)为源图像，通过伽马参数γ对图像的高光部分和暗调部分进行扩展和压缩；利用光照分量在图片中的分布情况，选择性地调整伽马参数γ，对光照分量M(x,y)的提取采用高斯函数G(x)与源图像F(x,y)进行卷积，如下述公式(3)和(4)所示：M(x,y)＝F(x,y)×G(x)，    (4)从而得到伽马参数γ，如下述公式(5)所示：其中，高斯函数的卷积核选择13*13的卷积核；S2.2，人脸特征点提取；采用OpenCV的Harr级联分类检测器进行人脸定位和追踪，然后调用Dlib的特征点检测方法进行提取和对齐；Dlib开源库完成人脸特征点提取，获取人脸上的68个特征点，并根据已经提取到的68个特征点位置，进行对额头区域依据美学标准三庭五眼进行等比例估算；S3，通过步骤S2.2中提取的人脸特征点与S1.3中的平面网格模型进行纹理坐标映射，从而得到对视频人脸的上妆合成图；纹理坐标映射是指三维模型的顶点坐标在二维纹理中找到对应的纹理位置，只需确定模型68个顶点坐标和模型纹理坐标的对应关系即可；设V(D)为网格模型顶点坐标集，F(D)为获取视频中的人脸特征点坐标集，CameraWidth为摄像头获取视频的宽度，CameraHeigth为摄像头获取视频的高度，ε为映射时的扰动误差，则可得到F(D)映射到V(D)的计算公式如式(6)和式(7)所示：V(D).x＝F(D).x/CameraWidth+ε，    (6)V(D).y＝F(D).y/CameraHeight+ε，    (7)而模型的纹理坐标则是获取标准人脸纹理中的特征点的坐标，设UV(D)为网格模型纹理坐标集，FaceUV(D)为获取到的标准人脸纹理特征点坐标集，TexWidth为纹理的宽度，TexHeigth为纹理的高度，则可得到F(D)映射到V(D)的计算公式如式(8)和式(9)所示:UV(D).x＝FaceUV(D).x/TexWidth，    (8)UV(D).y＝(TexHeigth‑FaceUV(D).y)/TexHeigth；    (9)S4，上妆合成图的效果展示。