[发明专利]一种基于多视角图像的3D人体自监督重建方法

说明书

本发明提供了一种基于多视角图像的3D人体自监督重建方法，涉及三维人体重建技术领域，所述方法包括如下步骤：获取多视角图像，建立三维空间；将多视角图像、多视角图像对应的SMPL参数、相机参数输入至特征提取网络ResUnet34中，输出多视角特征图；通过双线性插值采样得到顶点在多视角特征图的特征；利用稀疏卷机网络SpareConvNet将所述结构化隐式编码扩散到周围的空间中；根据所述几何编码和外观编码得到通用型神经辐射场；使用体素渲染的方法给定一个新的视角相机参数，对所述通用型神经辐射场进行渲染，得到新视角相机参数下的2D图像。本发明通过利用稀疏的多视角对人体进行重建，然后渲染到目标视角下的图像，实现了2D图像到2D图像的自监督，避免了对3D真值的依赖。

技术领域

本发明涉及三维人体重建技术领域，具体而言，尤其涉及一种基于多视角图像的3D人体自监督重建方法。

背景技术

近年来，3D人体重建在学术界和工业界广受关注。大量不同的方法尝试去从单视角图像、多视角图像或者单目视频中重建数字化人体。

现有的3D人体重建方法中，一类方法利用扩展SMPL这类参数化身体模型去表达带衣服形变的人体形状，这些方法可以获得高质量纹理的可驱动的人体模型。另一方面，PIFu和PIFuHD这类利用神经网络隐式地表达3D表面的方法获得了令人惊艳的效果，这种新型的隐式3D表达方式理论上可表示任意拓扑结构的3D结构，例如复杂的姿态、头发和衣服等几何结构。还有另一类方法利用多视角图像或者视频进行自监督的3D重建，利用神经网络表达特定场景取得了巨大的成功，SRN提出给每个3D空间位置分配一个特征向量，然后使用可微分的体素渲染的算法生成图像。NeRF将3D坐标和视线方向通过神经网络映射层密度和颜色建立静态场景的表达。Nerfies和NGNeRF通过引入隐式变形场的方式扩展NeRF重建动态场景。NeuralBody将隐式的神经辐射场和人体参数化模型SMPL进行结合，使之能很好的处理人体的几何变形。

然而，现有的3D人体重建方法存在种种不足之处，利用扩展SMPL参数化身体模型由于模型分辨率的限制，不能够表达头发、裙子等复杂几何。利用神经网络隐式地表达3D表面的方法，从单张图像重建3D人体模型通常需要3D真值数据的监督，但是真实场景下难以获取大量的带有3D真值几何的数据，所以这类方法通常利用合成数据集进行训练，结果造成在真实场景下的泛化能力较低。利用多视角图像或者视频进行自监督的3D重建的这类方法，能够渲染出非常逼真的图像，但是限制于静态的场景。引入隐式变形场的方式难以显示地控制人体运动产生的复杂的非刚性变形。将隐式的神经辐射场和人体参数化模型进行结合的方法，只适用于单一场景或者同一目标人体的重建，没有对新的场景或者目标人体的泛化能力。综上所述，有待发明一种在将隐式的神经辐射场和人体参数化模型进行结合的同时，具备对新的场景或者目标人体的泛化能力的3D人体重建方法。

发明内容

有鉴于此，本发明的目的在于提出一种基于多视角图像的3D人体自监督重建方法，以解决现有基于图像的3D人体重建算法不具备对新的场景或者目标人体的泛化能力，从而实现从稀疏多视角图形中快速地重建出3D人体几何和纹理。

本发明采用的技术手段如下：

一种基于多视角图像的3D人体自监督重建方法，所述方法包括如下步骤：

获取多视角图像，建立三维空间；

获取不同视角下图像的相机参数、目标前景人体的分割图、目标人体的2D关键点、人体的3D关键点和人体模型SMPL参数；

建立基于多视角的通用型3D人体重建模型，所述基于多视角的通用型3D人体重建模型的建立方法包括：

将所述多视角图像、多视角图像对应的SMPL参数、相机参数输入至特征提取网络ResUnet34中，输出多视角特征图；

定义结构化隐式编码；

将三维空间中的顶点根据所述相机参数投影到多视角特征图上的2D投影点；