[发明专利]光照分离的单视角人体服装几何细节重建方法及装置

摘要

本发明公开了一种光照分离的单视角人体服装几何细节重建方法及装置，其中，方法包括：利用现有的从图像中获取人物姿态的方法，先对人体模型和衣服模型进行初步物理模拟；再通过光照分离的方法，提取光照和衣服表面的光影信息，从而对衣物的表面细节进行建模，并根据人体的运动姿态动态模拟衣服的褶皱等细节信息。人体模型重建基于单图像人体模板拟合的方法；衣物模拟主要利用物理粒子模拟的框架；而衣服表面细节重建则主要通过光照和表面法向的渲染结果，与分解出的本征光照图像进行比较和求解。该方法通过衣服建模和表面细节求解的框架，可以使得输入图像中衣服的细节能够得到比较好的重建，并可以适用于单RGB采集人体运动的人体和衣物重建。

主权项

1.一种光照分离的单视角人体服装几何细节重建方法，其特征在于，包括：通过单RGB采集人体运动数据，得到单RGB图像，并从所述单RGB图像中提取人物姿态，求解每一帧中人物的形状、姿态和相对空间位置；通过预设的衣服模板生成二维衣服网格模型，并通过粒子模拟的方法使得衣服的不同部分缝合及穿到处于初始姿态的人物身上；将人物姿态过渡变换到视频中第1帧的姿态下，并对三维的衣物进行联合物理模拟，且对于后续所有帧均基于人体姿态进行逐帧的衣服物理仿真；通过人体分割的方法求解衣服参数，使得模拟后衣服形状与图像中的分割图达到吻合条件；对于视频中的每一帧，使用图像光照分离的方法提取出图像的本征光照图像和本征反照率图像；通过物理模拟出的初始衣服形状，并求解得到所述衣服网格模型的逐顶点法向，并通过球谐光照的假设得到光照信息；通过球谐光照的假设在预设球谐光照系数的前提下，求解衣服的逐顶点形变，得到衣服的几何细节；将每帧求解后的所述衣服逐顶点形变投影到逐顶点上的局部坐标系下，并做每一帧投影系数的时域平滑，得到最终动态衣服细节重建结果。