[发明专利]一种基于多视角深度相机的三维人像实时重建及渲染方法

说明书

本发明公开的基于多视角深度相机的三维人像实时重建及渲染方法，涉及计算机视觉领域，通过对多个相机进行标定，得到多个相机之间的相对位姿并根据相对位姿，将多个相机输出的深度信息转置于统一的三维坐标系之内，形成点云，分别判断各个体素是否被点云占据，若是，则根据相对位姿及预先创建的人像掩膜，分别为各个体素构建基于截断的符号距离函数，对各个体素对应的基于截断的符号距离函数进行加权平均并利用点云网格化算法，得到人体三维网格，对颜色信息进行加权平均，得到携带颜色信息的人体三维网格，将人体三维网格输入预先构建的对抗神经网络对人体三维网格进行渲染，得到相应的二维人像，实现了三维人像的实时捕捉，提升了成像质量。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于多视角深度相机的三维人像实时重建及渲染方法。

背景技术

目前众多三维全身人像容积拍摄系统主要采用2类方案，一类采用高清彩色相机，缺乏深度信息，依靠传统的特征点匹配方法计算量巨大，难以达到实时；一类采用深度相机，但是未能解决深度相机对黑色物体和结构较细的物体深度成像差的问题，导致质量较低。

因此，现有技术未能有效地解决三维人像的实时捕捉及高质量渲染问题。

发明内容

为解决现有技术的不足，本发明实施例提供了一种基于多视角深度相机的三维人像实时重建及渲染方法，该方法包括以下步骤：

对多个相机进行标定，得到所述多个相机之间的相对位姿并根据所述相对位姿，构建统一的三维坐标系；

在所述三维坐标系内划分多个体素，将所述多个相机输出的深度信息转置于统一的三维坐标系之内，形成点云；

分别判断各个体素是否被所述点云占据，若是，则根据所述相对位姿及预先创建的人像掩膜，分别为各个体素构建基于截断的符号距离函数；

对各个体素对应的基于截断的符号距离函数进行加权平均并利用点云网格化算法，得到人体三维网格；

根据所述相对位姿构建uv贴图，将各个相机的颜色信息以贴图形式分别投影至人体三维网格上；

对uv贴图出现重叠的各个区域，根据人体三维网格上的三维点与相机的夹角和距离的关系，计算权重并根据所述权重，对颜色信息进行加权平均，得到携带颜色信息的人体三维网格；

将所述人体三维网格输入预先构建的对抗神经网络对所述人体三维网格进行渲染，得到相应的二维人像。

优选地，对多个相机进行标定，得到所述多个相机之间的相对位姿包括：

使用多张标定棋盘格，将所述多张标定棋盘格垂直放置于多台相机的可见范围内，对每一张标定棋盘格，提其取角点信息及亚像素级的角点信息，根据所述角点信息及所述亚像素级的角点信息，得到所述多个相机之间的相对位姿。

优选地，所述人像掩膜的创建过程包括：

将处于预设范围内相机的深度值的图像作为人体图像，生成软分割的第一人像掩膜。

优选地，所述对抗神经网络的创建过程包括：

利用构架为U-Net的生成器及架构为DenseNet-121的判别器，构建第一生成对抗神经网络，其中，所述第一生成对抗神经网络的作用为视角合成；

利用构架为U-Net的生成器与超分辨率卷积层的组合、5层卷积神经网络的判别器，构建第二生成对抗神经网络，其中，所述第二生成对抗神经网络的作用是图像增强。

优选地，在生成软分割的第一人像掩膜之后，所述方法还包括：

采用主动轮廓模型算法对所述第一人像掩膜进行优化，得到第二人像掩膜。