[发明专利]一种三维点云重建方法、装置和电子设备

权利要求书

1.一种三维点云重建方法，其特征在于，包括：

根据点云生成网络，获取目标图像在目标视角下的第一深度图的目标点云；

通过可微渲染器，对所述目标点云在监督视角下进行渲染，得到渲染出的第二深度图；

根据所述第二深度图和所述监督视角下的监督深度图，对所述目标点云进行重建优化处理；

根据插值计算公式和所述监督深度图中像素的第一深度真值，确定目标投影点在所述第二深度图中投影位置的第二深度真值；

所述插值计算公式包括：

其中，分别为所述第二深度图中所述投影位置的横坐标值和纵坐标值，x₁，x₂分别为与所述投影位置相邻的四个像素的横坐标值，y₁，y₂分别与所述投影位置相邻的四个像素的纵坐标值，d₁₁、d₂₁、d₁₂、d₂₂分别为与所述投影位置相邻的四个像素的深度真值，d_i为所述第二深度真值；

所述对所述目标点云在监督视角下进行渲染，得到渲染出的第二深度图，包括：根据预先建立的视角位资预测模型，预测所述监督视角下的监督深度图的视角位资；

确定所述监督深度图中的参考深度图；所述参考深度图为所述监督深度图中已知视角位资的深度图；

根据所述参考深度图和所述视角位资预测模型，预测第三深度图的视角位资；所述第三深度图为所述监督深度图中除所述参考深度图之外的深度图；

利用预测出的所述视角位资，融合所述第三深度图，得到所述第三深度图的预测点云。

2.根据权利要求1所述的三维点云重建方法，其特征在于，所述获取目标图像在目标视角下的目标点云，包括：

获取所述目标图像在所述目标视角下的所述第一深度图；

对所述第一深度图的像素进行融合处理，得到所述目标点云。

3.根据权利要求1所述的三维点云重建方法，其特征在于，所述得到渲染出的第二深度图，包括：

在一个渲染像素对应多个投影点的情况下，根据所述多个投影点中深度值最小的目标投影点，确定渲染出的所述第二深度图；

所述目标点云包括所述多个投影点。

4.根据权利要求1所述的三维点云重建方法，其特征在于，所述方法还包括：

通过所述可微渲染器，对所述预测点云在所述参考深度图对应的参考视角下进行渲染，得到渲染出的第四深度图；

确定所述参考深度图与所述第四深度图之间的第一损失函数；

通过最小化所述第一损失函数，优化所述视角位资预测模型。

5.根据权利要求1所述的三维点云重建方法，其特征在于，所述根据所述第二深度图和所述监督视角下的监督深度图，对所述目标点云进行重建优化处理，包括：

确定所述第二深度图和所述监督深度图之间的第二损失函数；

通过最小化的所述第二损失函数，对所述目标点云进行重建优化处理。