[发明专利]机器人多传感器融合感知与空间定位的方法、系统及装置

说明书

本发明属于机器人环境感知技术领域，具体涉及了一种机器人多传感器融合感知与空间定位的方法、系统及装置，旨在解决环境中多因素综合的不利干扰条件导致机器人感知与空间定位准确度与精度低的问题。本发明包括：采集深度相机、MARG传感器以及关节编码器的原始数据；结合传感器标定与校准结果，对采集的数据进行修正；对深度相机采集的视觉数据进行增强与修复；基于视觉特征点、四元数姿态以及机器人机构运动学原理对视觉数据、运动状态数据以及角位移数据分别进行预融合处理；借助扩展卡尔曼滤波器以及模糊理论，利用预融合后的多传感器数据完成机器人在环境中的空间融合定位。本发明实现了多因素综合的不利干扰下的高精度机器人感知与空间定位。

技术领域

本发明属于机器人环境感知技术领域，具体涉及了一种机器人多传感器融合感知与空间定位的方法、系统及装置。

背景技术

在航空制造、电力输送等领域有着大量非结构化的复杂作业场景，障碍物多、低光照、弱对比度、强反射是该场景的主要特点。这类场景一般很难依靠人力完成作业，因此需要研究能够实现避障前进、对象检测、维护作业等操作的智能机器人，而实现这些操作的前提是机器人能够对作业场景进行环境感知与空间定位。

目前应用最广泛的室内环境感知与空间定位方案采用机器视觉技术，然而复杂环境中的低光照、弱对比度、强反射等干扰因素对于视觉处理带来较大难度，同时非结构化环境中的障碍物测量与空间环境探测很难通过单一感知手段予以解决。

发明内容

为了解决现有技术中的上述问题，即环境中多因素综合的不利干扰条件导致机器人感知与空间定位准确度与精度低的问题，本发明提供了一种机器人多传感器融合感知与空间定位的方法，该方法包括：

步骤S10，获取机器人多传感器数据序列；所述机器人多传感器数据序列包括结构光深度相机采集的视觉数据序列、MARG传感器采集的运动状态数据序列和关节编码器采集的角位移数据序列；

步骤S20，标定与校准结构光深度相机、MARG传感器和关节编码器，并基于标定与校准结果对所述机器人多传感器数据序列进行修正；

步骤S30，通过预设的深度相机视觉增强方法对修正后的机器人多传感器数据序列中的视觉数据序列进行增强与修复；

步骤S40，进行增强与修复的视觉数据序列的预融合处理，获得第一预融合位姿序列；进行修正后的修正后的运动状态数据序列的预融合处理，获得预融合姿态序列；进行修正后的角位移数据序列的预融合处理，获得第二预融合位姿序列；

步骤S50，基于所述第一预融合位姿序列、第二预融合位姿序列和预融合姿态序列对机器人在环境中的空间状态进行融合定位，获得机器人在环境中的位姿序列及空间坐标序列。

在一些优选的实施例中，所述视觉数据序列包括深度相机采集的彩色图序列和深度图序列；所述运动状态数据序列包括MARG传感器采集的三轴加速度序列、角速度序列和地磁场强度序列；所述角位移数据序列包括关节编码器采集的机器人关节的角位移数据序列。

在一些优选的实施例中，标定与校准结构光深度相机、MARG传感器和关节编码器包括：

所述结构光深度相机的标定与校准包括彩色相机标定、红外相机标定、深度图漂移修正以及彩色图与深度图配准；

所述MARG传感器的标定与校准包括加速度零漂移校准以及磁场椭球拟合校准；

所述关节编码器的标定与校准包括编码器电气原点与关节旋转机构机械原点的配准。

在一些优选的实施例中，所述增强与修复的视觉数据序列的预融合处理包括：

步骤S411，提取所述增强与修复的视觉数据序列中一帧彩色图的ORB二维特征点，并在与当前帧彩色图配准的深度图中提取所述ORB二维特征点对应的深度测量值；