[发明专利]点云与平面图像融合方法及装置

说明书

本发明涉及一种点云与平面图像融合方法及装置，获取目标物体的第一点云与第一平面图像后，首先将第一点云转换为第一深度图像，再获取能够反映第一平面图像与第一深度图像之间坐标转换关系的映射矩阵，最后利用该映射矩阵将第一深度图像与第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。因此，该点云与平面图像融合算法在进行数据融合时，只需确定两个二维图像(即深度图像与平面图像)之间的映射矩阵即可完成对点云与平面图像之间的融合，而无需考虑二维平面图像与三维点云之间的映射模型，从而简化了映射矩阵的计算过程。

技术领域

本发明涉及图像融合技术领域，特别是涉及一种点云与平面图像融合方法及装置。

背景技术

在无人驾驶、SLAM、ADAS等机器人应用领域，传感器是机器人感知外界事物的重要方式。主流的传感器主要是相机，已经有非常成熟的算法。近年来，激光雷达的使用也越来越普遍。激光雷达与相机各自有着各自的优点和缺陷。相机可以提供丰富的颜色信息，并且计算机视觉算法已经非常成熟，但是它不能提供三维信息。激光雷达可以提供三维信息，但不能提供颜色信息，相应的算法也较少。由此可见，激光雷达与相机，各自的优点恰好都是对方的缺陷，因此，将激光雷达与相机所提供的信息进行融合至关重要。

传统对激光雷达与相机采集数据进行融合的算法，需要建立二维平面图像到三维点云之间的映射模型，在计算映射模型时需要在三维点云中寻找与二维平面图像上各标定点所对应的点，这一过程较为困难。

发明内容

基于此，有必要针对传统融合算法计算二维平面图像到三维点云之间的映射模型较为困难的问题，提供一种点云与平面图像融合方法及装置。

一种点云与平面图像融合方法，包括：

获取目标物体的第一点云与第一平面图像；

将所述第一点云转换为第一深度图像；

获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵；

利用所述映射矩阵将所述第一深度图像与所述第一平面图像转换到同一坐标系下，并根据所述第一深度图像与所述第一点云之间的转换关系将所述第一平面图像与所述第一点云融合。

在其中一个实施例中，获取能够反映所述第一平面图像与所述第一深度图像之间坐标转换关系的映射矩阵包括：

获取标定物的第二点云与第二平面图像；其中，所述第二点云、第二平面图像的采集装置分别对应与所述第一点云、所述第一平面图像的采集装置相同；并且所述第二点云的采集装置相对所述第二平面图像的采集装置的位置，和所述第一点云的采集装置相对所述第一平面图像的采集装置的位置相同；

将所述第二点云转换为第二深度图像；其中，所述第二深度图像属于所述深度图像；

获取所述标定物上各标定点分别在所述第二平面图像、所述第二深度图像的坐标；

根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵。

在其中一个实施例中，根据所有所述标定点分别在所述第二平面图像、所述第二深度图像的坐标计算出所述映射矩阵包括：

建立所述第二平面图像与所述第二深度图像之间的映射模型；

将各所述标定点分别在所述第二平面图像、所述第二深度图像的坐标代入所述映射模型中，从而得到所述映射矩阵。

在其中一个实施例中，所述映射模型为：

其中，P为所述映射矩阵，(x,y)为所述第二平面图像的点坐标，(x',y')为所述第二深度图像的点坐标，w为缩放系数。