[发明专利]一种激光雷达点云与图像配准的方法、装置及智能终端

说明书

本发明公开了一种车载激光雷达点云与图像配准的方法，所述方法包括：获取同一时空下的车载激光雷达采集的点云数据和相机采集的图像数据；根据点云数据，得到棋盘格边界三维点云特征；根据图像数据，得到棋盘格边界二维特征；根据棋盘格边界三维点云特征和棋盘格边界二维特征进行配准，得到外部校准矩阵；根据外部校准矩阵，进行点云配准。本发明能够自动化地将激光雷达和相机测得的不同维度的数据进行多种算法的减小误差处理，并借助棋盘格实现高精度的配准。

技术领域

本发明涉及视觉测量领域，具体涉及一种激光雷达点云与图像配准的方法、装置及智能终端。

背景技术

相机和激光雷达提供环境的补充信息。相机捕获颜色，纹理和外观信息，激光雷达提供环境的三维结构信息。因此，它们通常被共同用来感知环境。由旋转和平移组成的外部参数是融合来自两个传感器的信息的先决条件。随着无人机械设备的广泛使用，配备激光雷达和摄像头的车辆迅速增加。自动驾驶感知任务的点云场景多样化，基于自动驾驶场景下的感知任务比较复杂，且点云属性信息决定了感知任务的准确性，因此，大规模商业应用需要一种有效且高效的外部校准算法。

由于激光点云是具有三维特征的数据，而图像是二维数据，二者维度不同，故激光雷达点云数据和相机图像需进行配准。激光雷达和相机的配准可从激光点云的三维数据转成图像的二维数据，通过求解高精度的刚体变换矩阵，将三维点云投影到二维平面上。但现有方法在联合标定时，需对棋盘格内部手动选取配准点，较为繁琐，缺少只需输入即可自动化实现的系统流程。缺乏相机的视场角和畸变对结果也存在影响的处理，同时在需要采样多组数据才能完成配准工作的前提下，缺少对配准质量的误差评估分析。目前的配准方法还包括从图像的二维数据转成三维数据。但因为图像不具备深度信息，即使是采用深度相机拍摄的图片，其深度信息的精度也不高，难以精确地还原成三维数据。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种车载激光雷达点云与图像配准的方法，旨在解决现有技术中手动配准繁琐、缺少对配准质量的误差评估分析以及深度信息的精度也不高的问题。

本发明解决技术问题所采用的技术方案如下：

第一方面，本发明提供一种车载激光雷达点云与图像配准方法，其中，所述方法包括：

获取同一时空下的车载激光雷达采集的点云数据和相机采集的图像数据；

根据所述点云数据，得到棋盘格边界三维点云特征；

根据所述图像数据，得到棋盘格边界二维特征；

根据所述棋盘格边界三维点云特征和所述棋盘格边界二维特征进行配准，得到外部校准矩阵；

根据所述外部校准矩阵，进行点云配准。

在一种实现方式中，所述获取同一时空下的车载激光雷达采集的点云数据和相机采集的图像数据之后，还包括：

对所述点云数据和图像数据进行数据预处理，得到处理后的点云数据和图像数据；其中，所述数据预处理包括时间戳同步和去畸变处理。

在一种实现方式中，所述根据所述点云数据，得到棋盘格边界三维点云特征，包括：

利用基于领域密度分布的方法去除所述点云数据中的噪声，得到无噪声点云文件帧；

采用聚类的方法定位所述无噪声点云文件帧，得到棋盘格点云簇；

采用RANSAC方法拟合所述棋盘格点云簇的最优平面，得到棋盘格最优点云平面；

检测所述棋盘格最优点云平面的边界，得到所述棋盘格的边界三维点云特征和三维角点。