[发明专利]一种基于ROS机器人的相机与多激光雷达融合方法

说明书

本发明公开了一种基于ROS机器人的相机与多激光雷达融合方法，分别使用激光雷达和相机对标定板进行图像采集，对激光雷达采集到的数据进行拟合平面，并用人工鱼群算法进行多激光雷达之间的配准；提取相机采集图像的角点和激光雷达采集点云的角点；根据角点的二维和三维结构，求解相机坐标系与三维场景结构的世界坐标系之间的位姿关系和二维与三维数据之间变换的最优解，完成数据融合。本发明算法效率高，实用性强；能够使机器人对周围环境的感知更加精准。

技术领域

本发明涉及一种数据融合方法，尤其涉及一种深度相机和激光雷达的图像融合方法。

背景技术

激光雷达是实现移动机器人和汽车自动驾驶环境感知的重要传感器之一，适用于复杂交通环境感知，所得到的深度图精度较高但分辨率低，获得的深度图十分稀疏，容易忽视小目标。双目立体视觉作为计算机视觉的重要分支被广泛应用于汽车无人驾驶技术当中，但是由于图像数据受光照等环境因素影响较大，导致了其所得深度图精度偏低。所以在移动机器人和汽车自动驾驶等领域中需要一种深度图融合方法，使得生成的深度图即精确又稠密。但现有技术中往往不能对多激光雷达配准以及相机数据与激光雷达数据进行有效融合。

发明内容

发明目的：本发明的目的是提供一种能够对相机数据与激光雷达数据进行有效融合的方法。

技术方案：本发明的基于ROS机器人的相机与多激光雷达融合方法包括以下步骤：

(1)使用多激光雷达采集标定板的三维点云数据，并拟合出标定板所在的平面；

(2)用人工鱼群算法进行多激光雷达之间的配准；

(3)使用相机采集标定板的二维图像，提取二维图像中标定板的角点；

(4)在三维点云数据中提取标定板的角点；

(5)根据已获得角点的标定板二维和三维图像数据，求解相机坐标系与三维场景结构的世界坐标系之间的位姿关系和二维与三维数据之间变换的最优解，完成数据融合。

所述步骤(1)中拟合标定板所在平面的步骤为：从激光雷达所采集到的点云中，随机选取3个不共线的点，由此3个点构造三维平面的一般性方程，并初始化为此幅点云对应的平面；计算点云中其余所有点到此平面的距离；统计距离值小于所给阈值的点的个数，并计算满足此阈值的点的个数占所有点的比例；如果计算的占比满足一定的阈值，则认为当前所得的平面参数为此幅点云拟合得出的平面，结束迭代；否则从头开始继续拟合平面，直至达到最大迭代次数为止。

所述步骤(2)中，定义人工鱼结构体，每个个体鱼维数为6，其中3维表示旋转，3维表示平移，定义人工鱼群优化器类，并初始化该优化器的参数以及算法在空间中的搜索角度；设置鱼群中个体鱼的个数，对所有的个体鱼进行初始化，随机选取一个个体鱼并认为此个体鱼为全局最优个体；以激光雷达对应面的一幅点云当前所处的状态为人工鱼的状态，对每条鱼i执行人工鱼群的觅食行为、随机行为、聚群行为以及追尾行为；得到每条人工鱼当前所处的状态；记录当前鱼群中的最优个体X_best，以及计算得到的点云平面之间的最小距离值；

判断当前最小距离值是否满足阈值或者是否达到最大迭代次数，如果满足则输出全局最优个体，根据最优个体鱼的6维数据值计算两激光雷达之间的刚性变换，将源点云数据变换到目标点云数据，算法结束；否则对每条鱼i执行人工鱼群的觅食行为、随机行为、聚群行为以及追尾行为得到人工鱼当前所处的状态，直至求解出最优值。