[发明专利]用于点云数据修复的方法和装置

说明书

本申请涉及用于点云数据修复的方法和装置。生成点云数据修复模型的方法包括：获得与第一点云数据帧相关联的至少一个2D图像；根据2D图像中物体的属性将第一点云数据帧划分成至少一个点云数据集合；针对每个点云数据集合：从2D图像中确定与第一点云数据帧的匹配图像，匹配图像为数据采集位置和/或时间上与第一点云数据帧匹配；根据第一点云数据帧和与之相关联的至少一个第二点云数据帧，确定匹配图像中像素点的3D位置数据；以及将匹配图像中对应像素点的2D位置和3D位置数据作为训练模型的训练输入和输出数据，通过深度学习网络生成用于该点云数据集合所对应物体的点云数据修复模型。利用构建的模型可实现点云数据的修复，由此提高准确性和普适性。

技术领域

本公开的实施例涉及点云数据处理领域，并且更具体地涉及用于点云数据修复的方法和装置。

背景技术

点云数据(Point Cloud)被广泛用于各种行业中的三维(3D)重建应用中。点云数据是描述3D场景的3D坐标系中的点数据的集合。通常，点云数据中的点数据表征物体的外表面。根据激光测量或摄影测量原理可以采集到物体表面的每个采样点的空间坐标，从而得到点数据的集合，称之为“点云数据”。

然而，由于采集中的遮挡或远距离，点云数据会出现空洞或过于稀疏，进而不利于目标物体的提取和分割。因此，点云数据的修复成为亟待解决的热点问题之一。

发明内容

根据本公开的示例实施例，提供了一种用于点云数据修复的方案。

在本公开的第一方面中，提供了一种用于生成点云数据修复模型的方法。该方法包括：获得与第一点云数据帧相关联的至少一个二维(2D)图像；根据所述2D图像中物体的属性将所述第一点云数据帧划分成至少一个点云数据集合；以及针对每一个点云数据集合：从所述至少一个2D图像中确定与所述第一点云数据帧的匹配图像，所述匹配图像为数据采集位置和/或时间上与所述第一点云数据帧匹配；根据所述第一点云数据帧以及与所述第一点云数据帧相关联的至少一个第二点云数据帧，确定所述匹配图像中的像素点的3D位置数据；以及将所述匹配图像中对应像素点的2D位置数据和3D位置数据作为训练模型的训练输入数据和训练输出数据，通过深度学习网络生成用于该点云数据集合所对应的物体的点云数据修复模型。

在本公开的第二方面中，提供了一种用于点云数据修复的方法。该方法包括：获得与待修复的点云数据帧相关联的至少一个2D图像；根据所述2D图像中物体的属性将所述待修复的点云数据帧划分成至少一个点云数据集合；以及针对每一个点云数据集合：在所述至少一个2D图像中确定与所述待修复的点云数据帧的匹配图像，所述匹配图像为数据采集位置和/或时间上与所述待修复的点云数据帧匹配；以及基于所述匹配图像中的对应像素点的2D位置数据，分别通过用于该点云数据集合所对应的物体的点云数据修复模型，对该点云数据集合中的点云数据进行修复。

在本公开的第三方面中，提供了一种用于生成点云数据修复模型的装置。该装置包括：图像获得模块，被配置为获得与第一点云数据帧相关联的至少一个2D图像；点云划分模块，被配置为根据所述2D图像中物体的属性将所述第一点云数据帧划分成至少一个点云数据集合；图像确定模块，被配置为针对每一个点云数据集合，从所述至少一个2D图像中确定与所述第一点云数据帧的匹配图像，所述匹配图像为数据采集位置和/或时间上与所述第一点云数据帧匹配；位置确定模块，被配置为针对每一个点云数据集合，根据所述第一点云数据帧以及与所述第一点云数据帧相关联的至少一个第二点云数据帧，确定所述匹配图像中的像素点的3D位置数据；以及模型生成模块，被配置为针对每一个点云数据集合，将所述匹配图像中对应像素点的2D位置数据和3D位置数据作为训练模型的训练输入数据和训练输出数据，通过深度学习网络生成用于该点云数据集合所对应的物体的点云数据修复模型。