[发明专利]基于模板变形的多视角三维人体重建方法

说明书

基于模板变形的多视角三维人体重建方法，包括：采集模板姿态和新姿态的图像和掩膜，得到模板人体模型；将其转换成三维人体骨骼点；将模板模型变形到的姿态，得到形变模型；提取语义先验、深度先验和法向先验；然后点云重建；构建出最终的模型，并进行贴图处理。本发明能够克服人体重建中的自遮挡问题，重建出高精度的人体模型；能够基于一个模板模型重建出任意新姿态下的高精度模型；不需要过多人工，且自动化程度较高，得到的重建模型精度较高。

技术领域

本发明涉及三维建模领域，具体地说是一种基于模板变形的多视角三维人体重建方法。

背景技术

高精度三维人体重建是计算机视觉、计算机图形学等领域的一个重点问题。此技术可广泛应用于动作分析/视觉特效/虚拟现实/电子商务等多个领域，具有很高的研究和商用价值。

目前主流的人体重建方法分为两大类：单视角重建，多视角重建。单视角重建中，一般运用单个深度相机，如Kinect，通过多帧联合优化或者模板变形的方法进行重建。由于其设备简单，操作方便，在对精度要求不高的场景下，有广泛的应用。但因它只有一个角度的信息，且采集的深度信息混杂了很多噪声，难以重建出人体的细节信息(如手，衣服褶皱等)。而多视角重建的方法，则从不同角度获取人体数据，重建的精度和完整度都较高。

现在，常用的多视角人体重建技术主要有：(1)基于多个深度相机，通过相机间信息的同步与融合(fusion)得到最终模型；(2)基于普通彩色相机，提取不同视角图像间的特征信息，利用多视角立体视觉技术(multi-view stereo)进行重建。不过由于人体姿态复杂多变，某些存在自遮挡的动作，普通的多视角重建技术也会出现错误，影响重建效果。

CN201510127448.4号专利申请公开了一种人体体型重构的方法：接收体感传感器采集得到的用户深度图像信息，将所述用户深度图像信息转换为三维人体模型；获取虚拟形象的三维模板模型；将所述三维模板模型进行拉伸转换，所述拉伸转换的目标为与所述三维人体模型具有相同的体型，将转换后的三维模板模型作为用户的虚拟形象。该方案中采用了拉伸转换的变形方式。

CN200810057880.0号专利公开了一种基于图像的个性化真实感虚拟人物造型方法，包括：以基于扫掠曲面的人体模型为人体模板模型；从图像中提取人体特征信息，建立人体模板模型和人体图像之间的对应关系，变形人体模板模型，生成个性化人体几何模型；在人体模型二维参数化结果上，由人体图像生成逼真的人体纹理，并将人体纹理无缝地映射到三维个性化人体模型上，得到具有真实感视觉效果的个性人体模型。

发明内容

本发明为解决现有的问题，旨在提供一种基于模板变形的多视角三维人体重建方法。

为了达到上述目的，本发明采用的技术方案包括如下步骤：

步骤一，采集多视角下的模板姿态A和新姿态N的图像和掩膜；

步骤二，对模板姿态A进行建模、修缮，得到模板人体模型AM；

步骤三，提取步骤一中模板姿态A、新姿态N图像上的人体的关节点，将其转换成三维人体骨骼点；

步骤四，根据模板姿态A和新姿态N的骨骼点信息，将模板模型AM变形到N的姿态，得到形变模型NM；

步骤五，基于形变模型NM提取语义先验、深度先验和法向先验；然后根据先验信息进行点云重建；

步骤六，构建出最终的模型FM，并进行贴图处理。

进一步地，步骤三中，利用深度神经网络获得A、N图像上的二维骨骼点的位置，恢复出人体三维骨骼点，其公式为:

进一步地，步骤五中，在形变模型NM上找到与每个骨骼点最近的一圈顶点，将这些顶点作为种子点，以模型NM上每个顶点到所述种子点的测地距离作为评判标准并对NM进行三维分割；得到分割模型后，再将其投影到二维，即得到所述语义先验。