[发明专利]面向移动端的虚拟试衣的人体模型脸部分区域建模方法

权利要求书

1.一种面向移动端虚拟试衣的人体模型脸部分区域建模方法，其特征在于：具体包括如下步骤：

(1)消费者在移动端分别提交真实人体图像和真实人脸图像，将所述人体图像经三维人体重建模块处理后生成三维人体模型，将所述人脸图像经人脸重建模块处理生成三维人脸模型；

(2)将步骤(1)获得的三维人体模型的脸部区域进行渲染降维检测，得到二维渲染人体图像，构建三维人体模型中人脸区域与二维渲染人体图像的参考点对，根据所述参考点对求解两者坐标变换，实现在三维人体模型的脸部区域扩充三维点云界标；对齐扩充的三维点云界标，约束惩罚整体性形状，对三维人体模型与三维人脸模型进行局部非匹配弱刚性配准；

(3)将三维人体模型的头部区域进行切割，移除脸部区域，获取切割后三维人体模型与三维人脸模型的匹配边界点对，在三维人体模型头部区域切割形成的空白区域进行贝塞尔曲线插值，并三角网格化插值点生成拓扑结构，基于格栅化边界和面片法向量，删除生成拓扑结构的鼓面结构以构建填充环，组合填充环、切割的三维人体模型和三维人脸模型生成具有真实人脸的三维人体模型。

2.根据权利要求1所述面向移动端虚拟试衣的人体模型脸部分区域建模方法，其特征在于：步骤(2)包括如下子步骤：

(2.1)在人体模型正交投影过程中，保持相机的z轴与三维人体模型的z轴平行，同时，满足所述三维人体模型的前景颜色与背景颜色的灰度差超过0.6，渲染生成二维人体图像；分割裁切二维人体图像的脸部区域，利用人脸目标检测，提取所述二维人体图像的脸部区域界标；

(2.2)三维人体模型的点云三维直角坐标系被降维为二维直角坐标系其中，O₁为原点，为二维直角坐标系的x轴基向量，为二维直角坐标系的y轴基向量，将降维的二维直角坐标系与二维人体图像的直角坐标系I₂进行转换，具体为：选取降维的二维直角坐标系与二维人体图像的直角坐标系I₂对应的左耳点对右耳点对和头点对作为参考点，以鼻点作为生成对应参考点的基准点，为二维人体图像的二维界标，为筛选出三维人体模型脸部区域Ω_H-head中z值的最大点；遍历比较二维人体图像的像素浮点灰度值N＝0.3R+0.59G+0.11B，其中，R为红色通道值，G为绿色通道值，B为蓝色通道值，为与同x值的左侧像素突变点，为与同x值的右侧像素突变点，为与同y值的上边像素突变点；再以为基准点，根据三维人脸模型上的坐标值筛选误差位于δ范围内的点，取筛选点云中的极值即为三维人体模型点云的参考点

(2.3)在完成二维人体图像的直角坐标系I₂到降维二维直角坐标系转换后，在头部区域Ω_H-head中寻找距离二维界标的多义最近点，选择深度位于前半头范围的最近点作为脸部区域扩充的三维点云界标；

(2.4)求解从三维人脸模型的直角坐标系I₃到三维人体模型的直角坐标系I₁的变换α₂＝f(A,b,C)＝C(Aα₃+b)，其中，α₃为三维人脸模型中的界标，α₂为三维人体模型的界标，A为第一配准系数，b为第二配准系数，C为对角矩阵；该变换实现对人脸模型的旋转、平移和整体性形状缩放，变换顺序具体如下：对齐三维人体模型的脸部区域和人脸模型的三维点云界标，迭代优化第一配准系数A和第二配准系数b，当三维点云界标间的距离误差梯度小于设定阈值或者达到最大迭代步数时，停止优化迭代；之后根据约束人脸的宽度缩放系数和约束人脸的高度缩放系数惩罚头部区域，完成三维人体模型与三维人脸模型的局部非匹配弱刚性配准。

3.根据权利要求1所述面向移动端虚拟试衣的人体模型脸部分区域建模方法，其特征在于：步骤(3)包括如下子步骤：

(3.1)在完成三维人体模型与三维人脸模型的局部非匹配弱刚性配准后，根据三维人体模型点云的z值移除脸部区域的点云，并对切割后三维人体模型的三角网格结构进行更新；切割的人体模型与配准后人脸模型间仍存在区域空缺Ω_F-bound，以切割后的三维人体模型和三维人脸模型的边界点对作为插值曲线的首末端，利用点云插值填充空缺区域；对于切割后的三维人体模型，三维人体模型的边界点集Ω_H-bound为删除三角面片包含的顶点集Ω_H-fcp与删除的顶点集Ω_H-face的差集；对于变换后的人脸模型，根据每个顶点所构成三角面片的数量判定三维人脸模型的边界点集Ω_F-bound；将三维人脸模型的边界点集Ω_F-bound与三维人体模型的边界点集Ω_H-bound进行边界点配对，对于三维人脸模型的边界点集中的每个点Pf_i，取对应配对点集即为稠密边界点集中的每个点寻找稀疏边界点集中与该点距离最小的前n个对应点；

(3.2)以边界点对{(Pf_i,Ph_k)}作为插值曲线的首末端点，基于三维贝塞尔曲线，通过添加控制点方式在空白区域生成插值点；选取头部区域Ω_H-head中所有顶点的质心作为相对坐标系的原点，通过变半径插值方式生成控制点，计算Pf_i和Ph_k与坐标轴e_x,e_y,e_z构成的角度差，计算Pf_i和Ph_k与构成的半径差，并在两者角度差二分之一处插入控制点P_c，并调整α控制贝塞尔曲线的形状；贝塞尔曲线在u∈[0,1]等间隔取值，得到配准后空白区域的插值顶点集{P(u)}，其中，u为插值参数；

(3.3)对插值顶点集{P(u)}和边界点对{(Pf_i,Ph_k)}进行三角网格化处理，取三维德劳内剖分最外层的边界构成三维凸包面集{F_ch}；鼓面仍可能干涉人脸模型原有的拓扑结构，将三维人脸模型的边界点集Ω_F-bound格栅化以拟合逼近生成人脸不规则外形，将Ω_F-bound的y值范围细分为等间隔Δy的区间{[y₀,y₁],[y₁,y₂],...,[y_n-1,y_n]}，将人脸模型的边界点集Ω_F-bound中的边界点Pf_i按格栅区间进行分类；取每个格栅区间中的{Pf_i}的平均值计算每个格栅区间的左右边界点和对于顶点位于不规则外形内的计算其法向量根据法向量与y,z轴夹角的大小判断的鼓面或者填充环属性，移除三维凸包面集{F_ch}中的鼓面特征，将填充环与切割头部的人体模型以及变换后的人脸模型进行合并，生成完整无干涉无缝隙的具有真实人脸的人体模型；

(3.4)根据阈值条件对三维人脸模型的纹理进行肤色分类，对人脸颜色求平均值，并将其迁移至三维人体模型和填充环中。