[发明专利]基于视觉与激光雷达信息融合的机器人定位导航方法

权利要求书

1.一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法，其特征在于：包括以下步骤：

步骤一、使用jetson xavier nx主机作为机器人的运算核心，并在其中安装ROS操作系统，使用双目相机、2D激光雷达、超声测距传感器、6轴IMU和霍尔编码器作为环境感知单元；

步骤二、集成ORB-SLAM2算法将双目相机采集到的环境数据处理为三维稀疏点云地图，为机器人提供全局地图和位姿，并将地图数据保存在主机内；

步骤三、在室内环境，使用激光雷达，集成gmaping算法和粒子滤波器，建立二维地图；建立的二维地图属于占据地图，通过使用像素点的色彩不同来表示可通行区域，障碍物和位置区域，保存为bpm格式的图像，并设置每个像素点代表0.05m；

在室外环境，集成ORB-SLAM2算法，实现三维稠密点云地图的建立，提取其中低于机器人高度空间点的平面位置，映射到二维地图；将室内外地图拼接形成完整的导航地图；机器人在室外环境还使用车顶超声测距传感器来检测侧方是否有低于路面的情况，并将检测到低于正常路面的位置也映射到二维地图中；

步骤四、机器人在定位时，通过双目相机采集视觉数据，启动ORB-SLAM2算法的纯定位模式反馈机器人的位置信息，将位姿信息、IMU、GPS和底层里程计信息通过拓展卡尔曼滤波器融合，获取更为准确的位姿信息；

步骤五、机器人在接受到目标点开始导航时，使用先前建立的二维地图作为导航地图进行全局路径规划，使用激光雷达实时建立周边环境的动态地图，对全局路径进行修正。

2.根据权利要求1所述的一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法，其特征在于：步骤一中，双目相机为两颗安装在机器人前面板两侧的摄像头，激光雷达安装在机器人顶部，6轴IMU安装于机器人激光雷达下方，超声测距传感器水平安装在机器人底部四周，以及斜向下45度角安装在机器人顶部四周。

3.根据权利要求1所述的一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法，其特征在于：步骤二中，集成ORB_SLAM2算法，并且在室外使用双目相机采集数据时由人工遥控，并同时开启机器人局部路径规划功能，进行避障措施。

4.根据权利要求1所述的一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法，其特征在于：步骤四中，机器人在从室外运行到室内时则停止将GPS数据引入拓展卡尔曼滤波器中计算；反之，当机器人从室内运行到室外后，则自动驶入空旷处停止等待GPS数据稳定后再继续运行。

5.根据权利要求1所述的一种基于视觉与激光雷达信息融合的机器人室内外定位导航方法，其特征在于：步骤五中，所使用的全局路径规划是A-star算法，局部路径规划是Timed-Elastic-Band算法，具体的导航流程为：

(1)初始化：加载步骤二中的三维稀疏点云地图，启动双目相机，进行特征点匹配，实时提供当前机器人位姿；加载步骤三中的二维栅格地图，将初始位姿映射到二维地图；开启激光雷达、复位6轴IMU、检测编码器、超声测距数据是否异常；

(2)接收目标点，首先使用二维地图进行全局路径规划，机器人开始运行，并将控制指令发送到机器人驱动器；

(3)当运行环境中有全局地图中未标注出的障碍物时，启动局部路径规划，结合激光雷达和超声测距传感器实时建立局部代价地图，进行局部路径规划，修正全局路径，并将修正后的控制指令发送到机器人驱动器；

(4)到达目标点，导航任务完成。