[发明专利]一种基于隐式神经场表示的3D人体网格补全方法

权利要求书

1.一种基于隐式神经场表示的3D人体网格补全方法，其特征在于，所述方法包括：

建立人体网格补全模型，包括如下步骤：

对有缺失的人体网格表面进行采样，获取稀疏3D点云位置、颜色和表面法向量数据，将所述稀疏3D点云位置、颜色和表面法向量数据作为人体网格补全模型的输入，并对稀疏3D点云位置进行归一化到标准空间并进行体素块划分，得到稀疏3D点云信息；

通过结构化隐式编码网络Points2VoxNet将稀疏3D点云信息进行编码与扩散，得到多尺度的几何特征体和纹理特征体；

建立隐式神经场，对于空间中任意点x，对几何特征体和纹理特征体使用三线性插值得到点x的几何特征和纹理特征，将点x的几何特征和纹理特征输入全连接网络中进行解码，得到点x的几何表示与纹理表示；

对所述人体网格补全模型进行训练，包括如下步骤：

对完整的人体网格所在空间进行采样得到采样点，计算所述采样点对应的截断符号距离函数和颜色作为标签；

根据采样点对应的空间点到三维网格表面最近的面片的颜色得到颜色信息；

将采样点输入隐式神经场中预测采样点的截断符号距离函数与颜色，并计算与真实标签之间的优化目标函数函数对模型进行训练优化；

得到训练后的人体网格补全模型；

采用训练后的人体网格补全模型对待补全人体网格进行补全，包括如下步骤：

给定待补全的有缺失的人体网格；

对待补全的有缺失的人体网格表面进行采样稀疏3D点云位置、颜色和表面法向量数据并输入至训练后的模型中建立隐式神经场中，然后利用Marching Cubes算法提取出完整的人体网格。

2.根据权利要求1所述的基于隐式神经场表示的3D人体网格补全方法，其特征在于，还包括：

在建立隐式神经场前定义隐式表征；

采用有符号的距离场来作为隐式表征，得到隐式表征公式；

将隐式场转换到最终可以展示的显式表征；

获取sdf_i值并进行截断处理，得到tsdf_i值；

根据所述sdf_i值和tsdf_i值得到3D形状重建的隐式场公式。

3.根据权利要求1所述的基于隐式神经场表示的3D人体网格补全方法，其特征在于，多尺度的几何特征体V和纹理特征体T的公式为：

其中，φ为Points2VoxNet网络，M为稀疏3D点云的点数量，p^k为稀疏3D点云中的第k个点的3D位置，为该点RGB值，为该点对应的法向量。

4.根据权利要求1所述的基于隐式神经场表示的3D人体网格补全方法，其特征在于，几何特征编码g(x)以及纹理特征编码t(x)的公式为：

g(x),

其中，为三线性插值，x为空间中任意一点的3D位置。

5.根据权利要求1所述的基于隐式神经场表示的3D人体网格补全方法，其特征在于，几何表示tsdf与纹理表示rgb的公式为：，

tsdf＝M_g(x,g(x))

tgb＝M_t(x,g(x),t(x))。

其中，M_g为几何解码网络，M_t为纹理解码网络。

6.根据权利要求1所述的基于隐式神经场表示的3D人体网格补全方法，其特征在于，所述训练后的人体网格补全模型的公式为：

其中，x_i为对完整的人体网格所在空间进行采样点，N为采样点数量，λ_g为几何回归损失权重，λ_t为纹理恢复损失权重。

7.根据权利要求2所述的基于隐式神经场表示的3D人体网格补全方法，其特征在于，所述3D形状重建的隐式场为：

其中，x∈R³为3D空间中的点，sdf为点x的符号距离，表示点x到最近表面点的有向距离，tsdf为点x的截断符号距离；c为截断符号距离的截断阀值，θ为隐式场网络参数。

8.根据权利要求1所述的基于隐式神经场表示的3D人体网格补全方法，其特征在于，所述对完整的人体网格所在空间进行采样得到采样点，包括对完整的人体网格表面附近进行采样和在整个标准空间内进行均匀采样。