[发明专利]基于多RGBD相机的实时人体全息重建方法以及装置

说明书

本申请提出一种基于多RGBD相机的实时人体全息重建方法、装置和计算机设备。具体实现方案为：预训练基于像素对齐特征的三维重建神经网络，采集多视点场景彩色深度图像，提取多视点彩色深度图像前景，提取多视点彩色深度图像的特征图像，对重建空间进行均匀采样并计算投影符号距离函数值并进行有效采样点筛选，计算采样点的多视点图像特征，并进行多视点特征融合，使用符号距离回归网络推理符号距离函数，从采样点中提取三维模型表面，使用颜色回归网络推理模型顶点颜色，完成全息重建。本申请可以提高全息重建速度，提升网络泛化性能，还可以进一步提升全息重建的质量和精确。

技术领域

本申请涉及计算机视觉中的三维视觉和人工智能领域，尤其涉及一种基于多RGBD相机的实时人体全息重建方法、装置和计算机设备。

背景技术

全息通讯和全息直播是面向未来的革命性通讯和直播形式，其核心技术包括全息人体重建、全息数据压缩、全息数据传输、全息内容显示。全息人体重建是全息通讯和全息直播的基石。传统全息重建(三维)大多基于稠密视点采集，需要搭建复杂的多相机同步采集系统，造价昂贵，维护困难。深度相机的出现使三维信息的获取变得更加便捷，然而稀疏视点的深度采集系统仍然存在观测局限，无法生成完整的全息三维模型。

近年来，随着深度学习技术和计算机视觉技术的融合与发展，出现了基于深度神经网络的三维重建方法，如PIFu(Pixel-aligned Implicit Function for High-Resolution Clothed Human Digitization，基于像素对齐隐式函数的高分辨率人体数字化方法)等，它们仅使用单张彩色照片即可推理出人体的完整三维模型，极大地降低了全息人体重建技术的采集复杂度。然而，由于高质量三维人体扫描数据的短缺和深度神经网络模型表达能力的局限性，该类方法尚不能处理复杂的人体动作、人与物体的交互、以及实现实时全息重建效率。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于多RGBD相机的实时人体全息重建方法，将深度神经网络三维重建方法引入到色彩-深度相机系统中，可以提高全息重建速度，实现实时全息重建效率，并可以提升网络泛化性能，从而可以处理复杂的人体动作、人与物体的交互场景，还可以进一步提升全息重建的质量和精确。

本申请的第二个目的在于提出一种基于多RGBD相机的实时人体全息重建装置。

本申请的第三个目的在于提出一种计算机设备。

为达上述目的，本申请第一方面实施例提出了一种基于多RGBD相机的实时人体全息重建方法，包括：

根据人体扫描数据集渲染多视点训练数据，根据所述多视点训练数据预训练基于像素对齐特征的三维重建神经网络，其中，所述三维重建神经网络包括RGBD图像特征提取神经网络、符号距离函数回归神经网络和颜色回归网络；

获取采集到的多视点场景彩色深度图像，并提取所述多视点场景彩色深度图像之中的多视点彩色深度图像前景；

根据所述RGBD图像特征提取神经网络对所述多视点彩色深度图像进行特征提取，获得所述多视点彩色深度图像的特征图像；

对重建空间进行均匀采样并计算投影符号距离函数值，并根据所述投影符号距离函数值进行有效采样点筛选；

计算采样点的多视点图像特征，并进行多视点特征融合；

将融合后得到的多视点特征图像输入至所述符号距离函数回归神经网络，获得所有有效采样点的符号距离函数值；

从所述采样点中提取出完整三维模型表面，并根据所述颜色回归网络对所述完整三维模型表面进行模型顶点颜色推理，完成全息重建。

在本申请一些实施例中，所述进行多视点特征融合包括：