[发明专利]一种基于单目深度摄像头的着装下三维人体模型重建方法

说明书

本发明提出了一种基于单目深度摄像头着装下三维人体模型重建方法，首先，利用单目深度摄像头扫描着装的三维人体，将单目深度摄像头Kinect扫描的穿衣人体模型作为输入，生成S_SCAPE人体统计形状模型；其次，基于随机森林回归自动识别自定义的关键特征点，判断着装人体模型的衣服点并对衣服区域进行双边滤波处理，达到去除衣服点对三维人体模型的影响；然后，将S_SCAPE人体统计形状模型作为参数化模板模型，使得扫描人体模型与模板模型进行初始化拟合；最后，模板模型经过非刚性形变与人体模型进行拟合，拟合过程中采用L_BFGS算法优化，实现着装下三维人体模型的重建。本发明降低了人体模型获得的设备复杂性，同时提高了着装下三维人体重建的准确性。

技术领域

本发明涉及一种基于单目深度摄像头的着装下三维人体模型重建方法，属于计算机图形学技术领域。

背景技术

在多媒体、虚拟现实和计算机图形学领域已经对三维人体重建进行了深入的研究。三维人体模型可用于协助服装设计，人体测量和娱乐领域的各种建模应用，许多计算机图形应用中人机交互和虚拟现实等应用如动画、计算机游戏等，都需要逼真的三维人体模型，特别在跟踪、图形、监视和法医视频分析领域，对于许多应用程序，包括虚拟试衣、健康监测和虚拟现实中的三维人体的创建，都需要可靠的三维人体模型重建，然而以往的重建技术都依赖价格昂贵的三维扫描设备，并且需要专业的人员操作以及大量的手工处理，采集方式要求用户穿着最少衣物，这给实际应用带来约束。因此，实用的三维人体模型重建方法是至关重要。

已有的着装下的三维人体重建将服装看作为噪音，进行去噪操作以达到去除衣服重建人体模型的目的，这个方法基于穿着紧身衣的人体数据库来训练模特模型从而学习不穿衣服时的人体形状，利用具有人体三维特征信息的约束条件对模板网格进行变换，得到受到服装影响的粗糙网格并通过SCAPE模型作为统计形状对个性化人体进行建模，结合基于骨骼的变形来对姿态变化进行建模。虽然该方法可以在静态扫描和运动序列中估计出与服装相对接近的形状和姿态，但估计的形状表面几乎没有细节。

对于重建三维人体模型，许多学者都是利用深度摄像头，消费级深度摄像头Microsoft Kinect相比传统的扫描仪具有体积小，价格低，操作方便等优点，还可以同时获取扫描物体的深度信息，不受光线等客观物理因素的影响，基于Kinect重建三维人体模型是利用深度相机扫描不同视角的单帧人体点云数据，对采集的三维人体的点云数据进行预处理，将多角度的点云进行配准整合到同一个坐标系中再经过重建曲面，生成完整的三维人体模型。本发明仅采用一个深度摄像头扫描着装的三维人体继而重建出着装下的三维人体模型。

在安徽信息工程学院丁富扬、王德昌黄英申请、2019年1月8日公开、公开号为CN109166134A、发明名称为“基于多Kinect的人体动态三维重建方法”的中国发明专利申请中，提出基于多Kinect的进行三维人体的重建，通过对每一个Kinect进行准确的标定并采集各个Kinect获取的深度数据，对点云数据进行人体检测和背景消除得到人体点云数据，将人体点云数据进行几何配准得到三维人体点云信息，虽然通过多个Kinect的三维重建方法克服了单一的Kinect由于视角有限,不能获取捕捉动态完整的人体数据的问题，但是同时对多个Kinect的过程十分复杂，不利于实现。

在华南理工大学毛爱华、张弘、柳雨新、罗洁、郑颖龙、李桂清、韩国强申请、2019年8月20日公开、公开号为CN106204718B、发明名称为“一种基于单个Kinect的简易高效三维人体重建方法”的中国发明专利申请中，为了使人体建模更加快速、准确和方便，该发明提出了一种有效的全身扫描的数据采集策略，只通过六个角度，每个角度三帧的扫描，便可以完全覆盖人体，用得到的完整人体点云进行泊松表面重建得到最终的三维人体模型。该发明申请虽然可以重建出扫描的三维人体模型，但是未对扫描的三维人体的着装情况进行说明，不同的着装情况，则会不同程度地影响重建的三维人体模型的准确性。

发明内容