[发明专利]点云超分辨率方法、装置、电子设备及存储介质

说明书

本申请公开了一种点云超分辨率方法、装置、电子设备及存储介质。该方法包括：构建并训练点云初始超分辨率模型，得到满足精度阈值的点云超分辨率模型；将待处理点云划分为分片点云，将分片点云输入点云超分辨率模型，通过生成器提取分片点云的几何信息特征和颜色信息特征，并由生成器重建超分辨率点云；通过判别器判断重建的超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云。本申请的方法可将稀疏的点云坐标和颜色重建出高质量密集点云几何和颜色信息，图卷积以图对点云进行建模，解决了点云无序的问题，可以有效利用上下文信息，对点云特征进行整合，能够得到轮廓准确、细节清晰的高分辨率点云。

技术领域

本申请涉及视频图像处理技术领域，具体涉及一种点云超分辨率方法、装置、电子设备及存储介质。

背景技术

超分辨率指的是通过硬件或软件提高原有图像分辨率的技术。随着3D采集技术的飞速发展，3D传感器(例如LiDAR)变得越来越容易获得，由此获取的点云数据也越来越多，越来越多的研究者们也逐渐投入到三维点云数据的研究中。然而，处理3D点云而非2D像素网格，这带来了新的挑战。与以规则网格表示的图像空间不同，点云没有任何空间顺序和规则结构。生成的点应描述潜在目标对象的基本几何形状，这意味着它们应大致位于目标对象的表面上。生成的点应该是信息性的，并且不应杂乱无章。点云数据的无序且不规则以及以上难题限制了深度学习网络在点云超分辨率任务上的发展。类比图像处理的3D卷积网络大大限制了点云输出的分辨率，逐点卷积不能对点云这种杂乱无结构的数据进行有效地建模，缺少点云上下文信息。

发明内容

本申请的目的是提供一种点云超分辨率方法、装置、电子设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本申请实施例的一个方面，提供一种点云超分辨率方法，包括：

构建并训练点云初始超分辨率模型，得到满足精度阈值的点云超分辨率模型；所述点云初始超分辨率模型包括生成器和判别器；

将待处理点云划分为分片点云，将所述分片点云输入所述点云超分辨率模型；

通过所述生成器提取所述分片点云的几何信息特征和颜色信息特征，并由所述生成器利用所述几何信息特征和所述颜色信息特征重建超分辨率点云；

通过所述判别器判断重建的所述超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云。

在本申请的一些实施例中，所述生成器包括并行的点云坐标生成通道和点云颜色生成通道；所述点云坐标生成通道用于提取所述分片点云的几何信息特征；所述点云颜色生成通道用于提取所述分片点云的颜色信息特征。

在本申请的一些实施例中，所述训练点云初始超分辨率模型，包括：

将训练集中的点云输入所述生成器，所述点云坐标生成通道和所述点云颜色生成通道进行连续两次上采样操作，得到预测点云；

计算所述预测点云的预测误差，根据所述预测误差反向更新所述生成器中的参数，迭代直至所述预测误差达到预设阈值为止，得到第一次训练完成的生成器；

将所述训练集中的点云以及对应的所述预测点云输入所述判别器以判断所述预测点云的置信度，根据置信度判断结果更新整个所述点云初始超分辨率模型，迭代直至所述置信度达到预设置信度阈值为止。

在本申请的一些实施例中，所述训练点云初始超分辨率模型，包括：使用复合损失作为超分辨率任务训练损失的一部分以训练所述点云初始超分辨率模型；其中，所述复合损失包括对抗损失、形状感知损失和基于几何位置的颜色损失。