[发明专利]一种基于多视角图像的3D人体自监督重建方法

权利要求书

1.一种基于多视角图像的3D人体自监督重建方法，其特征在于，所述方法包括如下步骤：

获取多视角图像，建立三维空间；

获取不同视角下图像的相机参数、目标前景人体的分割图、目标人体的2D关键点、人体的3D关键点和人体模型SMPL参数；

建立基于多视角的通用型3D人体重建模型，所述基于多视角的通用型3D人体重建模型的建立方法包括：

将所述多视角图像、多视角图像对应的SMPL参数、相机参数输入至特征提取网络ResUnet34中，输出多视角特征图；

定义结构化隐式编码；

将三维空间中的顶点根据所述相机参数投影到多视角特征图上的2D投影点；

通过双线性插值采样得到顶点在多视角特征图的特征；

获取顶点对应的结构化隐式编码；

利用稀疏卷机网络SpareConvNet将所述结构化隐式编码扩散到周围的空间中，得到一个密集的隐式编码体素；

建立神经辐射场；

对三维空间中的任意一点x，利用三线性插值采样所述隐式编码体素，得到x的几何编码；

将所述点x投影到多视角特征图进行提取特征并多视角融合，得到外观编码；

根据所述几何编码和外观编码得到通用型神经辐射场；

使用体素渲染的方法给定一个新的视角相机参数，对所述通用型神经辐射场进行渲染，得到新视角相机参数下的2D图像，所述基于多视角的通用型3D人体重建模型建立完成；

将所述多视角图像、多视角图像对应的相机参数，多视角图像对应的人体模型SMPL参数输入至基于多视角的通用型3D人体重建模型中，输出目标视角2D图像。

2.根据权利要求1所述的基于多视角图像的3D人体自监督重建方法，其特征在于，所述获取多视角图像，建立三维空间包括：使用多架相机从不同视角同时对目标人体进行多角度拍摄，得到拍摄目标人体的多视角图像；以多架相机的中心位置作为世界坐标系的原点，建立三维空间。

3.根据权利要求1所述的基于多视角图像的3D人体自监督重建方法，其特征在于，不同视角下图像的相机参数、目标前景人体的分割图、目标人体的2D关键点、人体的3D关键点和人体模型SMPL参数的获取方法为：

使用Opencv对所述多视角图像进行相机标定，得到不同视角下图像的相机参数；

对所述多视角图像使用人体分割算法CIHP获取目标前景人体的分割图；

使用Openpose算法对多视角图像进行检测，得到目标人体的2D关键点；

将所述相机参数和2D关键点输入至EasyMocap系统中，输出人体的3D关键点和人体模型SMPL参数。

4.根据权利要求1所述的基于多视角图像的3D人体自监督重建方法，其特征在于，所述SMPL模型将人体形状和姿态分开建模，所述形状包括人体模型的身高、体重、身体属性；所述姿态包括人体模型的不同动作。

5.根据权利要求1所述的基于多视角图像的3D人体自监督重建方法，其特征在于，利用平均池化或者注意力机制进行融合获取顶点对应的结构化隐式编码。

6.根据权利要求1所述的基于多视角图像的3D人体自监督重建方法，其特征在于，还包括通过多目标优化函数对所述基于多视角的通用型3D人体重建模型进行训练，所述多目标优化函数为：

其中，为图像重构损失，为图像感知损失，为背景正则化损失，λ_p为图像感知损失权重，λ_d为背景正则化损失权重。

7.根据权利要求6所述的基于多视角图像的3D人体自监督重建方法，其特征在于，所述图像重构损失公式如下：

其中，r为通过目标图像I_t的一条摄像机光线，为使用体素渲染得到的像素颜色，C(r)为目标图像I_t的对应像素颜色；

所述图像感知损失公式如下：

其中，为渲染图片，为VGG网络，为VGG网络第i层提取的特征，N_i为第i层特征的元素个数，M为特征层数；

所述背景正则化损失公式如下：

其中，为使用体素渲染得到的密度，D(r)为通过分割得到的掩码。