[发明专利]一种基于多传感器特征融合的机器人位姿估计方法及系统

说明书

本发明提供一种基于多传感器特征融合的机器人位姿估计方法，包括获取机器人运动时被抓拍的两帧连续的RGB图像，以及这两帧连续的RGB图像之间的惯性传感器信息；将这两帧连续的RGB图像预处理后，级联输入预先定义的图像特征提取网络中，输出得到图像特征，以及将这两帧连续的RGB图像之间的惯性传感器信息输入预先定义的惯性特征提取网络中，输出得到惯性特征；将所得到的图像特征与惯性特征级联后输入预先定义的多传感器融合神经网络进行特征融合，得到融合后的特征，并根据融合后的特征，得到机器人多自由度的位姿估计。实施本发明，能解决使用单一传感器位姿估计准确率低以及传统多传感器融合算法计算复杂效率低的问题。

技术领域

本发明涉及机器人技术领域、计算机图像处理技术领域和视觉及惯性里程计领域，尤其涉及一种基于多传感器特征融合的机器人位姿估计方法及系统。

背景技术

同时定位和建图(simultaneous localization and mapping，简称SLAM)近年来得到了快速发展，并在科学研究、工业生产、日常生活等各种场景得到越来越多的关注和应用。

里程计技术作为SLAM的前端，它能够用于估计出机器人的位姿。因此，一个优秀的里程计技术能为SLAM的后端、全局地图构建提供优质的初始值，从而让机器人在复杂的未知环境中实现精准自主化来执行各种任务。典型的里程计解决方案主要利用视觉传感器，从一系列图像流中恢复出机器人的运动位姿。

随着里程计技术对准确度需求的增加，多传感器融合技术，特别是视觉与惯性传感器融合，逐渐发展成为当前里程计技术领域的研究热点。传统的视觉惯性里程计(Visual-Inertial Odometry，简称VIO)方法可分为松耦合方法和紧耦合方法，都是基于滤波或优化方法来实现，但二者计算复杂且实现起来比较困难。

因此，出现了越来越多基于学习的视觉惯性里程计框架。如Clark等提出了ViNet，是第一个基于深度学习的视觉惯性里程计神经网络，用以解决传统方法的时效问题与准确率问题。然而，现有的基于学习的视觉里程计框架的融合策略大多是将所提取的两种特征直接级联或者赋予权重后级联，再通过长短时记忆(Long-Short Term Memory，简称LSTM)网络处理，使得融合效果不理想且时效性低。由此可见，现有的基于深度学习的视觉惯性里程计技术缺乏良好的融合方案，不能够精确的恢复机器人的运动位姿。

因此，亟需一种基于多传感器融合技术的机器人位姿估计方法，能解决使用单一传感器位姿估计准确率低以及传统多传感器融合算法计算复杂效率低的问题。

发明内容

本发明实施例所要解决的技术问题在于，提供一种基于多传感器特征融合的机器人位姿估计方法及系统，能解决使用单一传感器位姿估计准确率低以及传统多传感器融合算法计算复杂效率低的问题。

为了解决上述技术问题，本发明实施例提供了一种基于多传感器特征融合的机器人位姿估计方法，所述方法包括以下步骤：

获取机器人运动时被抓拍的两帧连续的RGB图像，以及这两帧连续的RGB图像之间的惯性传感器信息；

将这两帧连续的RGB图像预处理后，级联输入预先定义的图像特征提取网络中，输出得到图像特征，以及将这两帧连续的RGB图像之间的惯性传感器信息输入预先定义的惯性特征提取网络中，输出得到惯性特征；

将所得到的图像特征与惯性特征级联后输入预先定义的多传感器融合神经网络进行特征融合，得到融合后的特征，并根据融合后的特征，得到机器人多自由度的位姿估计。

其中，所述图像特征提取网络采用预训练模型FlowNet进行权重初始化，随后采用KITTI数据集进行训练得到的。

其中，所述惯性特征提取网络采用一维卷积神经网络来处理惯性传感器信息。

其中，所述惯性传感器信息包括角速度数据和加速度数据。