[发明专利]点云重建方法、装置、电子设备和存储介质

说明书

本发明提供一种点云重建方法、装置、电子设备和存储介质，其中方法包括：基于目标相机和邻域相机的位姿信息，确定目标相机的待重建图像在邻域相机的候选匹配区域内的候选图像；基于候选图像与待重建图像之间的相似度，从候选图像中确定待重建图像的配对图像；基于待重建图像和配对图像的位置信息，以及目标相机和邻域相机的位姿信息，确定待重建图像的深度信息，并基于待重建图像的深度信息进行点云重建，克服了传统方案中点云重建效果取决于相机位姿的准确度的缺陷，能够在已知点云的基础上，通过设定区域范围，可以点云层面上对场景进行划分，从而实现对特定区域的点云重建，并且还为后续的网格化操作提供了极大的便利。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种点云重建方法、装置、电子设备和存储介质。

背景技术

目前，三维相机能够重建出目标场景的三维点云，相较于常规的二维相机多了一个深度维度信息，为各种后端开发提供了额外的数据处理自由度，具有重要的应用价值。而随着3D(Three Dimension)相关产业的蓬勃发展，三维相机和三维重建技术逐渐成为计算机视觉相关领域中不可或缺的基础硬件设备和数据处理核心技术，例如，模型构建领域、深度学习领域、三维动画制作领域等。

目前的三维点云重建方案大多是在未知相机位姿的基础上进行的，而相机位姿的估算通常采用特征点匹配的方法，该方法对重建场景的要求较高，当重建场景不能满足要求时，例如，弱纹理的场景、多重复纹理的场景等，往往无法准确估算出相机位姿，又由于相机位姿对于点云的生成极为重要，进而使得点云重建效果不佳。

发明内容

本发明提供一种点云重建方法、装置、电子设备和存储介质，用以解决现有技术中点云重建效果依赖于相机位姿的准确度的缺陷。

本发明提供一种点云重建方法，包括：

基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像；

基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像；

基于所述待重建图像和所述配对图像的位置信息，以及所述目标相机和邻域相机的位姿信息，确定所述待重建图像的深度信息，并基于所述待重建图像的深度信息进行点云重建。

根据本发明提供的一种点云重建方法，所述基于目标相机和邻域相机的位姿信息，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像，包括：

基于目标相机和邻域相机的位姿信息，确定所述目标相机与所述邻域相机之间的变化矩阵；

基于所述目标相机与所述邻域相机之间的变化矩阵，确定所述目标相机的待重建图像对应射线在所述邻域相机的坐标系下的投影；

基于所述投影，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像。

根据本发明提供的一种点云重建方法，所述基于所述投影，确定所述目标相机的待重建图像在所述邻域相机的候选匹配区域内的候选图像，包括：

在所述投影上设置滑窗，基于所述滑窗的滑动范围，确定所述目标相机的待重建图像在所述邻域相机内的候选匹配区域，并确定所述候选匹配区域内的候选图像；

所述滑窗的尺寸基于所述目标相机的待重建图像的尺寸确定。

根据本发明提供的一种点云重建方法，所述基于所述候选图像与所述待重建图像之间的相似度，从所述候选图像中确定所述待重建图像的配对图像，包括：

基于所述候选图像和所述待重建图像的灰度信息，确定所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度；

基于所述候选图像与所述待重建图像之间的结构相似度和/或位置相似度，从所述候选图像中确定所述待重建图像的配对图像。