[发明专利]一种三维点云重建方法、装置和电子设备

说明书

本发明提供了一种三维点云重建方法、装置和电子设备，所述三维点云重建方法包括：根据点云生成网络，获取目标图像在目标视角下的第一深度图的目标点云；通过可微渲染器，对所述目标点云在监督视角下进行渲染，得到渲染出的第二深度图；根据所述第二深度图和所述监督视角下的监督深度图，对所述目标点云进行重建优化处理。通过本发明方案，可以在一定程度上提高重建的点云的稠密性、完整性和精度。

技术领域

本发明涉及计算机视觉领域，特别涉及一种三维点云重建方法、装置和电子设备。

背景技术

基于图像的三维重建是计算机视觉中的一个经典研究方向，被广泛应用于虚拟现实、远程协作等领域。

近年来，基于深度学习理论的三维重建方法的研究迅猛发展，该方法从数据集中学习三维形状的先验知识，不用建立多张图像间的特征匹配关系，仅从单目图像中即可实现三维重建。但是，单目图像只能采集到物体的正面信息，背面不可见部分可能存在多种重建结果，为了解决不可见部分的重建奇异性，通常需要从物体的三维模型中学些形状的先验知识。

但是，真实环境中物体的三维模型真值难以获取，例如：依靠激光扫描仪获取大量物体的三维模型是很耗费精力的。因此，将多视角图像作为监督数据训练神经网络被广泛采纳。

深度图中每个像素代表物体表面的深度，蕴含着丰富的几何信息。在深度图的监督下，可以学到更多的先验知识。但是，它的数据结构比轮廓复杂，导致渲染过程繁琐，难以保证可微性。因此，经过人们的研究，通过点云表达物体的三维形状，它不受点之间连接关系的约束，更容易增加点的数量重建稠密点云，详细表达物体三维特征。但是，点云的无序性和稠密性导致多个点不可避免的投影在了一个像素内，增加了渲染的难度。而且渲染过程需要视角的位资，对数据集中各视角图像的标定也会耗费额外的工作。总的来说，三维点云的重建过程中，存在稠密程度、完整性和重建精度低的问题。

发明内容

本发明实施例提供一种三维点云重建方法、装置和电子设备，用以解决现有技术中，重建后的三维点云的稠密程度、完整性和精度较低的问题。

为了解决上述技术问题，本发明实施例提供如下技术方案：

本发明实施例提供一种三维点云重建方法，包括：

根据点云生成网络，获取目标图像在目标视角下的第一深度图的目标点云；

通过可微渲染器，对所述目标点云在监督视角下进行渲染，得到渲染出的第二深度图；

根据所述第二深度图和所述监督视角下的监督深度图，对所述目标点云进行重建优化处理。

可选地，所述获取目标图像在目标视角下的目标点云，包括：

获取所述目标图像在所述目标视角下的所述第一深度图；

对所述第一深度图的像素进行融合处理，得到所述目标点云。

可选地，所述得到渲染出的第二深度图，包括：

在一个渲染像素对应多个投影点的情况下，根据所述多个投影点中深度值最小的目标投影点，确定渲染出的所述第二深度图；

所述目标点云包括所述多个投影点。

可选地，所述方法还包括：

根据插值计算公式和所述监督深度图中像素的第一深度真值，确定所述目标投影点在所述第二深度图中投影位置的第二深度真值。

可选地，所述插值计算公式包括：