[发明专利]实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质

说明书

实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质，方法包括：获取拍摄对象的当前人体模型和深度图像；选取一个当前人体模型作为标准模型，将其顶点重投影至深度图像，提取顶点对应的颜色信息及图像坐标，该颜色信息为颜色初始值，图像坐标转换成纹理坐标；将后续的人体模型顶点的颜色信息与颜色初始值计算加权和，作为标准模型顶点的新颜色；计算当前人体模型的子纹理贴图和子掩膜，组合成完整的纹理图和掩膜；根据纹理图、纹理坐标进行渲染。本发明基于GPU能够快速完成所需纹理的生成和优化，得到高质量的纹理图集，消除光照变化带来的颜色裂缝。可以为在多相机系统产生的人体模型进行渲染，达到良好的视觉真实感。

技术领域

本发明涉及计算机视觉和计算机图形学的三维重建领域，具体地说是一种实时三维人体重建的纹理渲染方法、系统、芯片、设备和介质。

背景技术

随着立体视觉技术的发展和虚拟现实/增强现实(VR/AR)技术的逐渐普及，如何获得日常生活中真实的人体三维模型已经成为研究的热点和难点，特别是在动态场景中捕捉人体运动；真实的人体三维模型应用十分广泛，可以应用在数字动画，影视级人物动作特效采集和远程会议等。

实时三维人体重建主要包含两方面：几何优化和纹理贴图。几何优化指准确生成人体三维模型的过程；该过程确定模型的几何拓扑结构，给出相对准确的几何信息，但是丢失了所优化目标的纹理信息。纹理映射是将纹理像素映射到三维物体表面的过程；通过纹理映射可以恢复人体模型的纹理信息，增加模型的真实感。因此，在重建生动的人体面貌时，高质量的纹理映射起到至关重要的作用。

对于人体三维重建的纹理渲染，学术界已经开展一些研究。论文《利用单台RGBD摄像机进行实时几何、反照率和运动重建》(K.Guo,F.Xu,T.Yu,X.Liu,Q.Dai,and Y.Liu,“Real-time geometry,albedo and motion reconstruction using a single rgbdcamera,”ACM Transactions on Graphics(TOG)，2017)、《融合4D：挑战场景的实时性能捕捉》(M.Dou,S.Khamis,Y.Degtyarev,P.Davidson,S.Fanello,A.Kowdle,S.O.Escolano,C.Rhemann,D.Kim,J.Taylor,P.Kohli,V.Tankovich,and S.Izadi,“Fusion4D:Real-timePerformance Capture of Challenging Scenes,”inACM SIGGRAPH Conference onComputer Graphics and Interactive Techniques,2016)对顶点简单的取颜色作为输出，该方法受限于RGB图像的分辨率，不可避免的产生模糊现象和粗糙感。