[发明专利]一种基于多融合传感器的三维点云重建装置与方法

说明书

本发明公开一种基于多融合传感器的三维点云重建装置与方法，所述装置包括：多融合传感器模块、系统数据处理模块、三维点云重建模块；所述方法包括：利用多融合传感器装置采集点云数据和视频图像，视频图像处理获取目标图像，包括目标态姿、位置、纹理信息；根据获取的原始点云与目标图像中的态姿位置信息，获取与原始点云对应的目标点云；对点云滤波以剔除杂乱点云；点云粗配准中包括对关键点质量分析；点云精配准；将配准后的点云输入点云重建单元，实现三维点云融合与重建。本发明通过提取与原始三维点云相对应的目标图像重建点云对应的特征点，获取目标三维空间位置信息、纹理、色彩信息，提高点云配准精度，有效减少误识别和跟踪丢失概率。

技术领域

本发明涉及计算机视觉及目标探测与识别、多传感器测量、三维重建等领域，尤其是涉及了一种基于多融合传感器的三维点云重建装置与方法。

背景技术

对于计算机视觉及目标探测与识别、多传感器测量技术的日臻成熟，计算机三维模型在人们当今的生和生产活动中，起着重要的基础性作用，对现实物体和场景建立真实、可靠的三维点云模型是很多三维系统的重要环节。建立模型的质量对3D技术在遗产保护、虚拟现实、电子游戏等诸多应用的实际效果有着相当重要的作用。

常用的三维重建方法，如利用视差法，模拟人类视觉系统对客观三维物体的感知方式，利用两个以上相机对同一个景物在不同位置进行成像，再根据两帧图像之间的视差图，转换为深度图，获得了物体的深度信息。此方法需要克服物体特征稀疏的问题，当纹理平坦时，计算得到的视差图存在大片的空白区域，点云的稠密程度很低。利用深度图像的方法，通过每帧图像的RGB图与深度图就能生成在当前相机坐标系下物体的点云，相邻两帧RGB图生成的两组点云进行匹配，计算出两帧相机的变换矩阵，就可以两组点云融合到世界坐标系。此方法计算得到的点云较为精确，且点云的稠密程度较高。但是其需要深度相机的协助，且对深度图的精度很敏感，在大范围重建场景中，深度相机的精度总是有限的，而深度相机的精度将直接关联重建点云的精度。

另外，点云采集设备的影响也是至关重要，点云质量受采集设备的精度、环境的干扰，以及被扫描物体的自身遮挡和材质问题的影响，直接使用扫描设备获取点云，得到的点云往往有大量的噪声、杂点和空洞，设备的快速移动会导致配准技术的失败，产生与真实数据误差较大的三维模型。

本发明公开一种基于多融合传感器的三维点云重建装置与方法，所述装置包括：多融合传感器模块、系统数据处理模块、三维点云重建模块。所述方法包括：利用多融合传感器装置中的激光雷达传感器采集点云数据，通过红外传感器与可见传感器获取的视频图像，对视频图像进行处理，获取目标图像，包括目标态姿、位置、纹理信息；根据获取的原始点云与目标图像中的态姿位置信息，获取与原始点云对应的目标点云；对点云滤波以剔除杂乱点云；点云配准，包括点云粗配准和精配准，其中点云粗配准中包括对关键点质量分析；将配准后的点云输入点云重建单元，实现点云融合与三维点云重建。

本发明通过提取与激光点云相对应的红外与可见光视频图像重建点云对应的特征点，获取目标三维空间位置信息、纹理、色彩信息，提高点云配准精度，对目标进行探测与识别的过程提供更加全面的信息，提高检测的快速性和对复杂环境的适应能力，减少误识别和跟踪丢失概率，可广泛用于目标探测与识别、遥感测绘、无人控制等领域。

发明内容

为解决上述问题，本发明的目的在于提供一种基于多融合传感器的三维点云重建装置与方法，装置中包括多融合传感器模块、系统数据处理模块、三维点云重建模块；所述方法包括：利用多融合传感器装置采集点云数据和视频图像，视频图像处理获取目标图像，包括目标态姿、位置、纹理信息；根据获取的原始点云与目标图像中的态姿位置信息，获取与原始点云对应的目标点云；对点云滤波以剔除杂乱点云；点云粗配准中包括对关键点质量分析；点云精配准；将配准后的点云输入点云融合与重建单元，进行三维点云重建。本发明通过提取与激光点云相对应的红外与可见光视频图像重建点云对应的特征点，获取目标三维空间位置信息、纹理、色彩信息，提高点云配准精度，减少误识别和跟踪丢失概率，实现可视化实时三维重建、三维路径规划和避障。