[发明专利]基于可微分投影的高精度多视角点云重建方法及装置

说明书

本申请公开了一种基于可微分投影的高精度多视角点云重建方法及装置，其中，方法包括：获取多张RGB图像；根据多张RGB图像中每张RGB图像的纹理信息和/或结构信息提取每张RGB图像的图像特征；基于每张RGB图像的图像特征生成同一物体的统一特征表达，并恢复对应物体原有的三维结构，得到粗点云的重建点云；对于重建点云和真实点云，使用可微分投影技术渲染多个不同视角下的重建点云投影与真实点云投影，以对输入的至少一张视图恢复满足预设条件的高精度多视角重建点云。由此，解决了相关技术中基于倒角距离的度量方式无法精确度量重建点云与真实点云之间的误差，导致无法满足高精度多视角的三维点云重建需求的问题。

技术领域

本申请涉及计算机视觉及计算摄像学技术领域，特别涉及一种基于可微分投影的高精度多视角点云重建方法及装置。

背景技术

三维点云是立体视觉领域的重要表现形式，在地理测绘、电影制作、增强现实、虚拟现实等领域具有重要应用价值。对于三维物体的精确建模与表示是该领域的核心问题。三维点云通过建模物体的空间结构对物体的三维信息进行精确描述，是三维物体在数字计算机中的常见表达形式。其能够精确的描述物体在空间中每一个点的位置，其中，每一个点由一个三位组(x,y,z)精确定义，一系列点构成一个物体的点云，描述对应物体的精确三维坐标。

因其结构简单、处理高效等特点，点云成为工业领域主流的立体数据表现形式。然而，在工业领域中，受限于设备精度与制造成本，直接采集高精度点云并不容易。相反，二维视图易于获取，且成本低廉。因此，基于多张视图的点云重建成为工业界关注的核心问题。

相关技术中，通常存在精度低、速度慢等问题，使用神经网络能够较好的满足工业场景对于速度的需求。然而，相关技术基于倒角距离的度量方式无法精确度量重建点云与真实点云之间的误差，限制了高精度点云的重建，亟需改善。

申请内容

本申请提供一种基于可微分投影的高精度多视角点云重建方法及装置，以解决相关技术中基于倒角距离的度量方式无法精确度量重建点云与真实点云之间的误差，导致无法满足高精度多视角的三维点云重建需求的问题。

本申请第一方面实施例提供一种基于可微分投影的高精度多视角点云重建方法，包括以下步骤：获取多张RGB(Red-Green-Blue，红绿蓝颜色系统)图像；根据所述多张RGB图像中每张RGB图像的纹理信息和/或结构信息提取所述每张RGB图像的图像特征；基于所述每张RGB图像的图像特征生成同一物体的统一特征表达，并恢复对应物体原有的三维结构，得到粗点云的重建点云；对于所述重建点云和真实点云，使用可微分投影技术渲染多个不同视角下的重建点云投影与真实点云投影，以对输入的至少一张RGB图像恢复满足预设条件的高精度多视角重建点云。

可选地，在本申请的一个实施例中，所述基于所述每张RGB图像的图像特征生成同一物体的统一特征表达，包括：利用预设池化算法对基于所述每张RGB图像的图像特征得到的多视图特征进行池化处理，得到所述统一特征表达。

可选地，在本申请的一个实施例中，所述使用可微分投影技术渲染多个不同视角下的重建点云投影与真实点云投影，以对输入的至少一张视图恢复满足预设条件的高精度多视角重建点云，包括：基于所述重建点云投影与所述真实点云投影，使用均方误差作为损失函数计算在不同视角下的误差，并对算法进行整体训练，得到收敛后的算法；利用所述收敛后的算法恢复所述至少一张视图的高精度多视角重建点云。

可选地，在本申请的一个实施例中，所述误差的计算公式为：

其中，表示视角i下重建点云投影坐标(x₁,y₁)的值，表示视角i下真实点云投影坐标(x₁,y₁)的值，N表示共计算N个视角，x_wy_h表示投影图像的宽度与长度。