[发明专利]解决遮挡与错误映射的影像序列与点云数据融合的方法

说明书

本发明公开了一种解决遮挡与错误映射的影像序列与点云数据融合的方法，其特征在于，包括步骤：获取影像序列中影像和所述影像对应的激光点云；根据所述影像和所述激光点云，确定激光点云点与影像像素点的投影关系；根据所述激光点云点与影像像素点的投影关系以及所述激光点云，确定所述影像对应的索引图；根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的融合影像；对所述影像序列中所有影像各自分别对应的融合影像拼接，得到拼接图像。由于将影像序列中各影像各自分别对应的融合影像进行拼接，不会出现因单张影像导致的遮挡和错误映射的问题。

技术领域

本发明涉及计算机视觉与点云数据处理技术领域，尤其涉及的是一种解决遮挡与错误映射的影像序列与点云数据融合的方法。

背景技术

激光雷达和相机作为两种主要的对环境进行感知的传感器具有其各自的优缺点，激光点云中的激光点具有准确的三维位置信息，而影像数据中有丰富的颜色信息。对激光雷达数据与影像数据进行融合的目的主要是融合激光点云数据提供的三维空间几何信息与影像数据提供的颜色信息，相比于原始激光点云，可以提供更加丰富的信息。

现有的激光点云与影像融合方案基于已有的激光雷达与相机的转换矩阵将单帧激光点云与影像像素点对应起来，选择对应影像将像素点的颜色信息赋给激光点云点，然后再将多帧彩色激光点云进行拼接生成最终的彩色激光点云。

现有技术中，影像与激光雷达点云数据融合,一般通过确定相机与激光雷达的变换矩阵，然后对每一帧的激光点云和对应的影像进行激光点对应像素点的融合，容易出现遮挡及错误映射的问题。

因此，现有技术还有待于改进和发展。

发明内容

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种解决遮挡与错误映射的影像序列与点云数据融合的方法，旨在解决现有技术中融合时出现的遮挡及错误映射的的问题。

本发明解决技术问题所采用的技术方案如下：

一种解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，包括步骤：

获取影像序列中影像和所述影像对应的激光点云；

根据所述影像和所述激光点云，确定激光点云点与影像像素点的投影关系；

根据所述激光点云点与影像像素点的投影关系以及所述激光点云，确定所述影像对应的索引图；

根据所述索引图、所述影像以及所述激光点云，确定所述影像对应的融合影像；

对所述影像序列中各影像各自分别对应的融合影像拼接，得到拼接图像。

所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，所述根据所述激光点云点与影像像素点的投影关系以及所述激光点云，确定所述影像对应的索引图，包括:

针对所述影像的每一个像素点，根据所述激光点云点与影像像素点的投影关系，确定该像素点对应的激光点云点；

根据该像素点对应的激光点云点，确定该像素点对应的深度值；

根据所有像素点各自分别对应的深度值，确定所述影像对应的索引图。

所述的解决遮挡与错误映射的影像序列与点云数据融合的方法，其中，所述影像中单个像素点对应的激光点云点有若干个；

所述根据该像素点对应的激光点云点，确定该像素点对应的深度值，包括：

根据该像素点对应的激光点云点，确定该像素点对应的目标点云点；所述目标点云点为该像素点对应的激光点云点中的一个；

将所述目标点云点的深度值作为该像素点对应的深度值。