[发明专利]面向移动端的虚拟试衣的人体模型脸部分区域建模方法

说明书

本发明公开了一种面向移动端虚拟试衣的人体模型脸部分区域建模方法。将人体模型的脸部点云降维渲染为二维图像，检测定位二维人脸界标。根据参考点对，将二维图像界标迁移到三维点云界标，并恢复z值，扩充人体模型的人脸区域界标。基于稀疏三维界标位置和整体性形状约束，对人脸人体模型进行非匹配弱刚性局部配准。使用连接层迭代界标位置，根据整体性形状惩罚人脸模型。切割人体模型的头部区域去除配准干涉，将边界点对作为贝塞尔曲线端点，在配准形成的缺失区域填充插值点并网格化。根据格栅化边界和法向量生成填充环，完成合并拼接。本发明适用于面向移动端虚拟试衣的三维人体重建，提供了身材参考和脸部认同感，有助于虚拟试衣的进一步推广。

技术领域

本发明属于计算机视觉技术领域，具体地涉及一种面向移动端虚拟试衣的人体模型脸部分区域建模方法。

背景技术

随着移动互联网的发展和电商的繁荣，在线的虚拟试衣为消费者和商家降低了时间和经济成本，消费者通过移动端提交人体和人脸特征信息，搭配挑选的服装，实现快捷方便的个性化虚拟试衣。其中，二维图像人体特征的获取和三维人体模型的重建模型是虚拟试衣的前提，精确的人体形状估计又是三维人体重建的基础，丰富的脸部细节表达则能增强重建人体模型的真实性。

目前研究存在的缺点是，基于统计人体模型的三维人体重建无法捕捉二维图像中的面部特征，重建的模型面部形状和表情为中性，且缺少面部纹理，其模型仅能为虚拟试衣提供身材参考；基于统计人脸模型的三维人脸重建，重建的范围最大仅能延伸到耳部和颈部，缺少真实的人体支撑，仅能增加消费者对虚拟试衣模型的认同感；将面部特征集成到统计人体模型面临数据集缺失的问题，相对于仅具有清晰的人体结构或者面部特征，同时具备两者的二维图像数据集相对缺失；目前的三维人脸界标定位算法由于缺少足够的三维人脸训练集，算法的鲁棒性和计算速度有待提升；非刚性配准在人脸方面的应用依赖于刚度集等初始值的选择，无法鲁棒的应对存在缺失结构和结构不匹配的情形。

发明内容

针对现有技术中存在的问题，本发明提出了一种面向移动端的虚拟试衣的人体模型脸部分区域建模方法，对三维人体和人脸模型进行局部非匹配弱刚性配准，移除两者的干涉区域，缝合插值生成填充环，生成具有细致面部特征和精准人体形状的三维人体模型，其能够精准的表达人体形状和人脸特征，为虚拟试衣提供身材参考和人脸认同。

为实现上述目的，本发明采用的技术方案是：一种面向移动端虚拟试衣的人体模型脸部分区域建模方法，具体包括如下步骤：

(1)消费者在移动端分别提交真实人体图像和真实人脸图像，将所述人体图像经三维人体重建模块处理后生成三维人体模型，将所述人脸图像经人脸重建模块处理生成三维人脸模型；

(2)将步骤(1)获得的三维人体模型的脸部区域进行渲染降维检测，得到二维渲染人体图像，构建三维人体模型中人脸区域与二维渲染人体图像的参考点对，根据所述参考点对求解两者坐标变换，实现在三维人体模型的脸部区域扩充三维点云界标；对齐扩充的三维点云界标，约束惩罚整体性形状，对三维人体模型与三维人脸模型进行局部非匹配弱刚性配准；

(3)将三维人体模型的头部区域切割，移除脸部区域，获取切割后三维人体模型与三维人脸模型的匹配边界点对。在三维人体模型头部区域切割形成的空白区域进行贝塞尔曲线插值，并三角网格化插值点生成拓扑结构，基于格栅化边界和面片法向量，删除生成拓扑结构的鼓面结构以构建填充环，组合填充环、切割的三维人体模型和三维人脸模型生成具有真实人脸的三维人体模型。

进一步地，步骤(2)具体包含以下子步骤：

(2.1)在人体模型正交投影过程中，保持相机的z轴与三维人体模型的z轴平行，同时，满足所述三维人体模型的前景颜色与背景颜色的灰度差超过0.6，渲染生成二维人体图像；分割裁切二维人体图像的脸部区域，利用人脸目标检测，提取所述二维人体图像的脸部区域界标；