[发明专利]一种基于多视角深度相机的三维人像实时重建及渲染方法

权利要求书

1.一种基于多视角深度相机的三维人像实时重建及渲染方法，其特征在于，包括：

对多个相机进行标定，得到所述多个相机之间的相对位姿并根据所述相对位姿，构建统一的三维坐标系；

在所述三维坐标系内划分多个体素，将所述多个相机输出的深度信息转置于统一的三维坐标系之内，形成点云；

分别判断各个体素是否被所述点云占据，若是，则根据所述相对位姿及预先创建的人像掩膜，分别为各个体素构建基于截断的符号距离函数；

对各个体素对应的基于截断的符号距离函数进行加权平均并利用点云网格化算法，得到人体三维网格；

根据所述相对位姿构建uv贴图，将各个相机的颜色信息以贴图形式分别投影至人体三维网格上；

对uv贴图出现重叠的各个区域，根据人体三维网格上的三维点与相机的夹角和距离的关系，计算权重并根据所述权重，对颜色信息进行加权平均，得到携带颜色信息的人体三维网格；

将所述人体三维网格输入预先构建的对抗神经网络对所述人体三维网格进行渲染，得到相应的二维人像。

2.根据权利要求1所述的基于多视角深度相机的三维人像实时重建及渲染方法，其特征在于，对多个相机进行标定，得到所述多个相机之间的相对位姿包括：

使用多张标定棋盘格，将所述多张标定棋盘格垂直放置于多台相机的可见范围内，对每一张标定棋盘格，提其取角点信息及亚像素级的角点信息，根据所述角点信息及所述亚像素级的角点信息，得到所述多个相机之间的相对位姿。

3.根据权利要求1所述的基于多视角深度相机的三维人像实时重建及渲染方法，其特征在于，所述人像掩膜的创建过程包括：

将处于预设范围内相机的深度值的图像作为人体图像，生成软分割的第一人像掩膜。

4.根据权利要求1所述的基于多视角深度相机的三维人像实时重建及渲染方法，其特征在于，所述对抗神经网络的创建过程包括：

利用构架为U-Net的生成器及架构为DenseNet-121的判别器，构建第一生成对抗神经网络，其中，所述第一生成对抗神经网络的作用为视角合成；

利用构架为U-Net的生成器与超分辨率卷积层的组合、5层卷积神经网络的判别器，构建第二生成对抗神经网络，其中，所述第二生成对抗神经网络的作用是图像增强。

5.根据权利要求3所述的基于多视角深度相机的三维人像实时重建及渲染方法，其特征在于，在生成软分割的第一人像掩膜之后，所述方法还包括：

采用主动轮廓模型算法对所述第一人像掩膜进行优化，得到第二人像掩膜。

6.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-5所述的步骤。