[发明专利]一种基于隐式神经场表示的3D人体网格补全方法

说明书

本发明提供了一种基于隐式神经场表示的3D人体网格补全方法，涉及3D重建技术技术领域，所述方法包括如下步骤：建立人体网格补全模型，建立隐式神经场，对所述人体网格补全模型进行训练，对完整的人体网格所在空间进行采样得到采样点，计算所述采样点对应的截断符号距离函数和颜色作为标签；根据采样点对应的空间点到三维网格表面最近的面片的颜色得到颜色信息；对待补全的有缺失的人体网格表面进行采样稀疏3D点云位置、颜色和表面法向量数据并输入至训练后的模型中建立隐式神经场中，然后利用MarchingCubes算法提取出完整的人体网格。本文提出了一个网格恢复网络，根据输入的部分3D形状以及对应的纹理信息来重建其完整结构的3D形状以及纹理细节的恢复。

技术领域

本发明涉及3D重建技术领域，具体而言，尤其涉及一种基于隐式神经场表示的3D人体网格补全方法。

背景技术

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础,也是在计算机中建立表达客观世界的虚拟现实的关键技术。

现有的数据驱动学习3D物体重建方法大致基于如点云、体素或三角形网格等表示形式。其中第一种方法是采用自编码算法学习线性混合蒙皮(LBS)，从点云恢复关节形状，第二种方法是基于体素的方法，将三维体素化网格作为形状表示之一，并在输入和体素化形状之间建立一对一的映射，第三种方法是通过三角形网格表示形式。第四种方法是基于深度隐式函数方法，使用神经网络隐式编码3D形状，如DeepSDF，这些3D物体重建工作一般将3D空间点的位置以及隐式编码共同作为隐式场的输入，来预测该3D空间查询点相对应的占有概率或者有符号的距离值。

然而，现有的3D物体重建方法存在不足之处。从点云恢复关节形状的方法，虽然点云具有高效和高灵活性驱动，但是点云不提供任何拓扑信息，这给重建带来了挑战。基于体素的方法通常受到内存大小的限制，只能重建低分辨率的离散曲面。通过三角形网格表示形式的方法，产生的表面细节有限，且拓扑结构固定，不利于精细结构的重建，不足以表示高质量的物体、人体等形状。基于深度隐式函数方法，对于更为复杂的形状则很难。

发明内容

有鉴于此，本发明的目的在于提出一种基于隐式神经场表示的3D人体网格补全方法，通过引入人体的隐式神经场的统一表示，以解决现有人体网格拓扑结构不一致导致难以修复的技术问题。

本发明采用的技术手段如下：

一种基于隐式神经场表示的3D人体网格补全方法，所述方法包括：

建立人体网格补全模型，包括如下步骤：

对有缺失的人体网格表面进行采样，获取稀疏3D点云位置、颜色和表面法向量数据，将所述稀疏3D点云位置、颜色和表面法向量数据作为人体网格补全模型的输入，并对稀疏3D点云位置进行归一化到标准空间并进行体素块划分，得到稀疏3D点云信息；

通过结构化隐式编码网络Points2VoxNet将稀疏3D点云信息进行编码与扩散，得到多尺度的几何特征体和纹理特征体；

建立隐式神经场，对于空间中任意点x，对几何特征体和纹理特征体使用三线性插值得到点x的几何特征和纹理特征，将点x的几何特征和纹理特征输入全连接网络中进行解码，得到点x的几何表示与纹理表示；

对所述人体网格补全模型进行训练，包括如下步骤：

对完整的人体网格所在空间进行采样得到采样点，计算所述采样点对应的截断符号距离函数和颜色作为标签；

根据采样点对应的空间点到三维网格表面最近的面片的颜色得到颜色信息；

将采样点输入隐式神经场中预测采样点的截断符号距离函数与颜色，并计算与真实标签之间的优化目标函数函数对模型进行训练优化；

得到训练后的人体网格补全模型；