[发明专利]光照分离的单视角人体服装几何细节重建方法及装置

说明书

本发明公开了一种光照分离的单视角人体服装几何细节重建方法及装置，其中，方法包括：利用现有的从图像中获取人物姿态的方法，先对人体模型和衣服模型进行初步物理模拟；再通过光照分离的方法，提取光照和衣服表面的光影信息，从而对衣物的表面细节进行建模，并根据人体的运动姿态动态模拟衣服的褶皱等细节信息。人体模型重建基于单图像人体模板拟合的方法；衣物模拟主要利用物理粒子模拟的框架；而衣服表面细节重建则主要通过光照和表面法向的渲染结果，与分解出的本征光照图像进行比较和求解。该方法通过衣服建模和表面细节求解的框架，可以使得输入图像中衣服的细节能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

技术领域

本发明涉及计算机视觉技术领域，特别涉及一种光照分离的单视角人体服装几何细节重建方法及装置。

背景技术

三维重建在计算机视觉这个领域里，是目前一个科研、工业界和媒体娱乐产业都重点关注的技术。经过三维重建得到的模型在影音游戏、建筑学、基础工业等领域都有较高的研究和实用价值。

然而，关于人体服装重建方法，由于人体动作和衣物的几何细节形变较为丰富，因此是三维重建领域的一个较大的难题。现有的衣服细节重建技术大部分是通过三维扫描或是深度获取的方式，这些方法需要比较特殊的采集设备，对数据采集要求较高。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种光照分离的单视角人体服装几何细节重建方法，该方法通过衣服建模和表面细节求解的框架，可以使得输入图像中衣服的细节能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

本发明的另一个目的在于提出一种光照分离的单视角人体服装几何细节重建装置。

为达到上述目的，本发明一方面实施例提出了一种光照分离的单视角人体服装几何细节重建方法，包括：通过单RGB采集人体运动数据，得到单RGB图像，并从所述单RGB图像中提取人物姿态，求解每一帧中人物的形状、姿态和相对空间位置；通过预设的衣服模板生成二维衣服网格模型，并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上；将人物姿态过渡变换到视频中第1帧的姿态下，并对三维的衣物进行联合物理模拟，且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真；通过人体分割的方法求解衣服参数，使得模拟后衣服形状与图像中的分割图达到吻合条件；对于视频中的每一帧，使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像；通过物理模拟出的初始衣服形状，并求解得到所述衣服网格模型的逐顶点法向，并通过球谐光照的假设得到光照信息；通过球谐光照的假设在预设球谐光照系数的前提下，求解衣服的逐顶点形变，得到衣服的几何细节；将每帧求解后的所述衣服逐顶点形变投影到逐顶点上的局部坐标系下，并做每一帧投影系数的时域平滑，得到最终动态衣服细节重建结果。

本发明实施例的光照分离的单视角人体服装几何细节重建方法，可以只需要一台RGB相机采集人体，利用图像的本征分解信息得到场景光照，从而可以联合求解光照和衣服的表面细节信息，并获取就可以对单RGB视频中的人物和衣物同时进行建模和仿真，进而通过衣服建模和表面细节求解的框架，可以使得输入图像中衣服的细节能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

另外，根据本发明上述实施例的光照分离的单视角人体服装几何细节重建方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，还包括：将重建后的最终动态衣服细节重建结果用所述球谐光照进行渲染，完成重建和渲染仿真。

进一步地，在本发明的一个实施例中，所述本征光照图像、所述本征反照率图像和原始图像满足：

S(u，v)A(u，v)＝I(u，v)，