[发明专利]基于多RGBD相机的实时人体全息重建方法以及装置

权利要求书

1.一种基于多RGBD相机的实时人体全息重建方法，其特征在于，包括：

根据人体扫描数据集渲染多视点训练数据，根据所述多视点训练数据预训练基于像素对齐特征的三维重建神经网络，其中，所述三维重建神经网络包括RGBD图像特征提取神经网络、符号距离函数回归神经网络和颜色回归网络；

获取采集到的多视点场景彩色深度图像，并提取所述多视点场景彩色深度图像之中的多视点彩色深度图像前景；

根据所述RGBD图像特征提取神经网络对所述多视点彩色深度图像进行特征提取，获得所述多视点彩色深度图像的特征图像；

对重建空间进行均匀采样并计算投影符号距离函数值，并根据所述投影符号距离函数值进行有效采样点筛选；

计算采样点的多视点图像特征，并进行多视点特征融合；

将融合后得到的多视点特征图像输入至所述符号距离函数回归神经网络，获得所有有效采样点的符号距离函数值；

从所述采样点中提取出完整三维模型表面，并根据所述颜色回归网络对所述完整三维模型表面进行模型顶点颜色推理，完成全息重建。

2.根据权利要求1所述的方法，其特征在于，所述进行多视点特征融合包括：

通过Transformer网络作为特征融合模块对所述采样点的多视点图像特征进行多视点特征融合。

3.根据权利要求1所述的方法，其特征在于，通过以下公式计算所述投影符号距离函数值：

truncated_psdf＝clip(v_z-d，-τ，τ)

其中，truncated_psdf为所述投影符号距离函数值，v_z为采样点在Z轴上的深度值，d为深度相机的深度观测值，clip()为截断函数，用于将输入值v_z-d截断至[-τ，τ]的范围内。

4.根据权利要求1所述的方法，其特征在于，所述根据所述投影符号距离函数值进行有效采样点筛选，包括：

根据采样点在不同视点的投影符号距离函数值计算所述采样点的可见性指标；

根据所述采样点的可见性指标进行筛选，获得所有有效采样点。

5.根据权利要求4所述的方法，其特征在于，通过以下公式计算所述采样点的可见性指标：

V(p)＝∑_{i∈{0，...，N}}ψ(truncated_psdf，δ)

其中，V(p)为所述采样点可见性指标，i为视点索引值，M为视点总数，ψ(truncated_psdf，δ)为单视点可见性判断函数，δ为可见性判断阈值，truncated_psdf为所述投影符号距离函数值；其中，

ψ(truncated_psdf，δ)＝1 if truncated_psdf＞-δ，

ψ(truncated_psdf，δ)＝0 if truncated_psdf≤-δ。