[发明专利]一种基于视觉特征的移动机器人实时定位方法

权利要求书

1.一种基于视觉特征的移动机器人实时定位方法，其特征在于，具体按照以步骤进行实施：

步骤1、采集图像数据，通过多层卷积神经网络，进行初步信息提取；

步骤2、通过融合注意力机制进一步提取图像中的几何变换信息；

步骤3、将提取的特征通过卷积神经网络降维，后连接两个单独的全连接网络进行多任务学习；

步骤4、将学习后的特征数据生成数据集，通过几何信息的数据关联，生成了点云的二维视觉特征；

步骤5、将步骤1采集到图像数据的第一帧图像设置成关键帧，然后结合步骤3和步骤4得到当前帧特征信息进行特征匹配，获得匹配图；

步骤6、通过构建多地图系统方法，不断将关键帧与当前帧进行图像缝合，将提取的特征添加到缝合窗口，实时更新匹配图中的视觉特征；

步骤7、将更新匹配图与当前帧的视觉特征进行匹配，并利用帧间差分估计算法进行当前帧的位姿估计，最终实现移动机器人实时定位。

2.根据权利要求1所述的一种基于视觉特征的移动机器人实时定位方法，其特征在于，所述步骤1中初步信息提取由局部底层几何变换信息到全局高层几何变换信息的提取。

3.根据权利要求1所述的一种基于视觉特征的移动机器人实时定位方法，其特征在于，所述步骤1中采用移动机器人自带的RGB-D传感器进行图像数据采集。

4.根据权利要求1所述的一种基于视觉特征的移动机器人实时定位方法，其特征在于，所述步骤2中融合注意力机制的具体步骤为：

步骤2.1、将步骤1采集的图像数据在神经网络内部的某个特征图F∈R^C×H×W作为输入；其中，H为向量矩阵，A表示行数，B表示列数；

步骤2.2、通过注意力模块先后生成一个一维的通道注意力矩阵M_C∈R^E×F及一个二维的空间注意力矩阵M_S∈R^X×Y；

步骤2.3、计算出总的注意力机制特征矩阵为以及其中，表示逐个元素相乘，F′是注意力模块内部优化的特征矩阵，F″是注意力模块优化后输出的特征矩阵。

5.根据权利要求1所述的一种基于视觉特征的移动机器人实时定位方法，其特征在于，所述步骤5提取关键帧前，需通过判断是否满足以下条件：当前帧与前一参考帧的旋转系数大于0.1；当前帧与前一参考帧的平移系数大于0.1；当满足上述任意一个条件或者两个条件都满足时，即认为相机位姿发生了重要改变，需添加关键帧，更新匹配图；否则，不会提取关键帧操作。

6.根据权利要求5所述的一种基于视觉特征的移动机器人实时定位方法，其特征在于，所述在步骤5中计算当前帧图像位姿时，提取当前帧的视觉特征，让视觉特征与匹配图中视觉特征进行匹配，并通过P3P算法进行位姿估计，然后实现机器人的实时定位。

7.根据权利要求1所述的一种基于视觉特征的移动机器人实时定位方法，其特征在于，所述步骤6中构建多地图系统具体步骤为：多地图系统构建包括缝合和优化两部分：

步骤6.1、当特征匹配发生在不同局部地图之间，则对图像进行缝合操作；

步骤6.2、缝合完之后进行优化，调整全局地图的内部关系。

8.根据权利要求7所述的一种基于视觉特征的移动机器人实时定位方法，其特征在于，所述步骤6.1中的缝合过程：是将关键帧与当前帧的视觉特征都放进缝合窗口，在地图缝合时，将两图中重复的视觉特征进行剔除；对当前帧中的每个特征在关键帧中寻找匹配特征，如果找到，则把当前帧中的特征去除，并将当前帧放入更新地图中去，同时，更新匹配图。