[发明专利]基于跨模态数据配准的点云密度上采样方法、系统及介质

说明书

本发明公开了一种基于跨模态数据配准的点云密度上采样方法、系统及介质，本发明包括采集目标物体的三维点云数据及多个视角的图像；分别提取图像特征、配准并计算任意视角下图像和图像特征之间的空间关联并构建三维点云骨架模型；从三维点云数据提取原始三维骨架模型，与三维点云骨架模型重叠得到重叠骨架模型；针对重叠骨架模型中的点，反向获取对应视角的图像中的像素点，并将获取的像素点按照指定的倍数复制并扩张，最终得到完整的三维点云密度上采样结果。本发明旨在解决点云稠密化现有的两种方法中遇到的计算量大、以及输出模型准确度低的难题，具有实现方法简单、成本低的优点，能基于图像实现对低密度三维点云的快速稠密化。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于跨模态数据配准的点云密度上采样方法、系统及介质。

背景技术

点云是一个数据集，数据集中的每个点代表一组X、Y、Z几何坐标和一个强度值，这个强度值根据物体表面反射率记录返回信号的强度。当这些点组合在一起时，就会形成一个点云，即空间中代表3D形状或对象的数据点集合。点云也可以自动上色，以实现更真实的可视化。目前点云稠密化采用以下两种方式：(1)基于语义的点云稠密化方法：在点云上进行上采样，即输入一个点云，输出一个更密的点云，且它落在输入点云隐含的几何体(比如表面)上。PU-Net的核心思想，是学习到每个点多个粒度(从局部到全局)下的特征，再在特征空间中扩大点集，最后将扩大的点集映射回三维。(2)基于几何的点云稠密化方法：无论是基于语义还是基于几何的点云稠密化方法，它们在对对象建模时具有很高的复杂性，且对模型本身的几何形状先验性需求较高，对点云进行稠密化进行建模时缺乏准确性和鲁棒性，而实际工况下，对于短时间和有限环境下扫描获得的初始点云即无法获得完整准确的语义先验信息，更缺乏具有充足计算资源进行几何上采样的条件。

发明内容

针对现有技术存在的上述技术问题，本发明要解决的技术问题是提供一种基于跨模态数据配准的点云密度上采样方法、系统及介质，本发明旨在解决点云稠密化现有的两种方法中遇到的计算量大、以及输出模型准确度低的难题，提供一种实现方法简单、成本低的点云密度上采样方法，能够基于图像实现对低密度三维点云的快速稠密化。

为了解决上述技术问题，本发明采用的技术方案为：

一种基于跨模态数据配准的点云密度上采样方法，包括：

S101，采集目标物体的三维点云数据及多个视角的图像；

S102，分别提取多个视角的图像的特征，对多个视角的图像特征进行配准，并计算任意视角下图像和图像特征之间的空间关联；

S103，通过任意两个视角的图像特征之间的空间关联构建三维点云骨架模型；

S104，从三维点云数据提取原始三维骨架模型，并将提取得到的原始三维骨架模型与构建的三维点云骨架模型和原始三维骨架模型进行重叠，得到重叠骨架模型；

S105，针对重叠骨架模型中的点，反向获取对应视角的图像中的像素点，并将获取的像素点按照指定的倍数复制并扩张，最终得到完整的三维点云密度上采样结果。

可选地，步骤S101中采集的目标物体的三维点云数据为稀疏点云模型P_L。

可选地，步骤S101中采集多个视角的图像时相邻视角夹角固定，且所有视角覆盖目标物体360度范围，且最终得到n个视角的图像I₁～I_n。

可选地，步骤S102中计算任意视角下图像和图像特征之间的空间关联是指计算任意视角i下图像I_i和图像特征F_i之间的距离d_i＝d(I_i，F_i)作为空间关联。