[发明专利]基于多源传感器的路面施工机器人环境感知系统及方法

权利要求书

1.基于多源传感器数据融合的路面施工机器人环境感知系统，包括路面施工机器人主体，其特征在于，所述机器人主体的顶部四个方向分别设有相机，机器人主体的前后方向分别设有激光雷达，机器人主体内设有嵌入式工控机，所述相机和激光雷达分别与嵌入式工控机相连接，所述相机用于采集路面图片数据，所述激光雷达用于采集点云数据；通过相机与激光雷达的组合标定方式，采用张正友棋盘格标定法获得相机的内参矩阵，通过多棋盘格标定的方式选取二维图像与三维点云匹配的特征角点，利用最小二乘法求出相机与激光雷达坐标系间的最优转换矩阵；

所述嵌入式工控机用于完成基于数据融合的多目标检测测距算法，获取并融合图片数据的类别信息以及激光雷达的距离信息，再从图像和点云两个方向，采用粒子滤波算法对目标实现跟踪过程，获得障碍物目标在连续时间内的动态估计变化，最后通过动态估计变化，得到施工区域内障碍物的行进速度及运动方向，通过绘制风险图的方式实现对施工区域的路面环境感知；

所述获取并融合图片数据的类别信息以及激光雷达的距离信息的过程中，对激光雷达采集到的点云数据进行预处理，通过地面分割得到非地面点云集，再经过欧几里得聚类，得到障碍物点云数据的三维检测框信息和距离信息；利用相机与激光雷达坐标系间的最优转换矩阵，将三维点云坐标信息转换为二维像素坐标投影到二维图片上，获得数据融合后的图片结果。

2.使用如权利要求1所述系统的基于多源传感器的路面施工机器人环境感知方法，其特征在于，包括如下步骤：

S1，通过相机与激光雷达，分别采集路面图片数据与点云数据；

S2，通过相机与激光雷达的组合标定方式，获取相机与激光雷达坐标系间的转换矩阵；

S3，基于数据融合的多目标检测测距算法获取并融合图片数据的类别信息以及激光雷达的距离信息，所述步骤进一步包括：

S31，对经步骤S1相机采集到的图片数据，利用目标检测算法获取障碍物目标的二维图片检测框信息及类别信息；

S32，经步骤S1激光雷达采集到的点云数据进行预处理，通过地面分割得到非地面点云集，再经过欧几里得聚类，得到障碍物点云数据的三维检测框信息和距离信息；

S33，利用步骤S2得到的转换矩阵，将三维点云坐标信息转换为二维像素坐标投影到二维图片上，获得数据融合后的图片结果；

S34，根据二维图片检测框边界信息，对投影到其边界内的三维点云依照距离信息统计，并将统计结果中远距离背景部分的点云滤除，确定点云聚类结果中与二维检测框内物体匹配的三维检测框，进而分别得到基于图像数据以及点云信息的检测测距结果；

S4，利用步骤S3获得的检测测距结果，从图像和点云两个方向，采用粒子滤波算法对目标实现跟踪过程，获得障碍物目标在连续时间内的动态估计变化，其中对图片数据采用HSV颜色空间作为粒子滤波算法的观测特征，对点云数据采用点云强度信息作为观测特征，分别实现基于图像数据和点云数据的目标跟踪；

S5，利用步骤S4获得的动态估计变化，得到施工区域内障碍物的行进速度及运动方向，通过绘制风险图的方式实现对施工区域的风险评估。

3.如权利要求2所述的基于多源传感器的路面施工机器人环境感知方法，其特征在于所述步骤S32中，地面点云分割的方法为：判断同一列激光束所获得的相邻点云之间的坡度与设定坡度阈值的大小关系，若相邻点的坡度值比设定阈值小，则判断该点为地面点，从而可滤除属于地面部分的点云，遍历每一根射线后，即可得到地面点的全部点云，所述坡度计算公式为：

其中，为XOY平面的单位法向量，P_i与P_j为两个相邻点。