[发明专利]基于图像的点云补全方法及系统

说明书

本申请提出一种基于图像的点云补全方法及系统，涉及计算机视觉及计算摄像学技术领域，其中，方法包括：获取目标物体的单张真彩RGB图像和在不同场景下的残缺点云，对RGB图像进行点云重建获取稀疏点云；将稀疏点云与残缺点云统一至同一视角后合并，使用最远点采样方式进行采样获取粗点云；计算粗点云与残缺点云之间的最近邻点距离，根据最近邻点距离和阈值获取精细点云区域与粗糙点云区域；对精细点云区域与粗糙点云区域分别预测不同长度的位移向量，将位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域后进行合并获取高精度点云。由此，引入视图信息，以提升补全点云的精度，实现基于视图的三维点云跨模态补全。

技术领域

本申请涉及计算机视觉及计算摄像学技术领域，尤其涉及一种基于图像的点云补全方法及系统。

背景技术

通常，立体视觉在增强现实AR/虚拟现实VR、电影制作、工业探伤等领域有着重要应用价值，对于三维物体的精确描述与完整呈现至关重要。三维点云是三维物体常见的表示形式，其能够精确的描述空间中每一个点云的坐标。每一个点为三元组(x,y,z)，描述一个点在空间中的位置，点云由一系列点组成，描述空间内的三维物体。点云因其结构简单、易于处理的特性，成为深度相机的主要采集格式。深度相机使用结构光、飞时传感器等元件感知立体空间内的深度信息，并以点云的形式进行存储。受限于采集视角与物体遮挡等因素，深度相机无法一次性采集三维物体的完整的三维结构，或因被采集物体处于运动状态，采集的点云存在不同程度的缺陷。残缺点云无法有效完整的描述三维物体的结构，实用价值低，难以有效应用于各类生产场景。对残缺点云的补全与增强是工业界亟需的技术手段。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本申请的第一个目的在于提出一种基于图像的点云补全方法，引入视图信息，以提升补全点云的精度，实现基于视图的三维点云跨模态补全。

本申请的第二个目的在于提出一种基于图像的点云补全系统。

为达上述目的，本申请第一方面实施例提出了一种基于图像的点云补全方法，包括：

获取目标物体的单张真彩RGB图像，并采集所述目标物体在不同场景下的残缺点云，以及利用点云重建神经网络对所述RGB图像进行点云重建，获取具有完整轮廓的稀疏点云；

使用相机外参矩阵将所述稀疏点云与所述残缺点云进行对齐以使统一至同一视角，并将所述稀疏点云与所述残缺点云进行合并，并使用最远点采样方式进行采样，获取粗点云；

使用倒角距离计算所述粗点云与所述残缺点云之间的最近邻点距离，根据所述最近邻点距离和阈值，获取精细点云区域与粗糙点云区域；

针对所述精细点云区域与所述粗糙点云区域分别使用动态位移预测方法预测不同长度的位移向量，将所述位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域；

将所述强化后的精细点云区域与粗糙点云区域进行合并，获取高精度点云。

本申请实施例的基于图像的点云补全方法，通过获取目标物体的单张真彩RGB图像和在不同场景下的残缺点云，对RGB图像进行点云重建获取稀疏点云；将稀疏点云与残缺点云统一至同一视角后合并，使用最远点采样方式进行采样获取粗点云；计算粗点云与残缺点云之间的最近邻点距离，根据最近邻点距离和阈值获取精细点云区域与粗糙点云区域；对精细点云区域与粗糙点云区域分别预测不同长度的位移向量，将位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域后进行合并获取高精度点云。由此，引入视图信息，以提升补全点云的精度，实现基于视图的三维点云跨模态补全。

可选地，在本申请的一个实施例中，采集所述目标物体在不同场景下的残缺点云，包括：

使用深度相机或激光雷达从所述目标物体在自我遮挡场景下进行拍摄，获取残缺点云；和/或，