[发明专利]一种基于BNN的稠密双目SLAM方法

说明书

本发明涉及一种基于BNN的稠密双目SLAM方法，包括如下步骤：步骤一：对经过矫正后输入的左图，提取ORB特征；步骤二：获取左图深度图；步骤三：获取左图ORB特征点深度；步骤四：估计当前相机运动姿态；步骤五：生成关键帧，并通过关键帧进行局部建图；步骤六：建立稠密地图；步骤七：回环检测与回环矫正。本发明使用BNN实现双目匹配，提高了匹配精度和匹配速度，从而提高定位精度和建图的速度，不但克服了特征法视觉SLAM不能建立稠密地图的问题，还实现了稠密地图的实时建图，使得特征法视觉SLAM能够实际应用。

技术领域

本发明涉及机器人同时定位与地图创建领域，更具体地，涉及一种基于BNN的稠密双目SLAM方法。

背景技术

同时定位与地图创建(Simultaneous Localization and Mapping,SLAM)是指移动机器人在未知环境中，通过所搭载的传感器，在运动中估计自身的运动，同时建立环境地图。

视觉SLAM可以分为两种：特征法和直接法。特征法的视觉SLAM方法需要提取图像特征点，可以创建稀疏地图；特征法视觉SLAM对光照、剧烈运动的鲁棒性较好，但是在无纹理的场景中表现较差，且建立的稀疏地图基本不能进一步用来如避障、运动规划等任务。

对于双目特征法视觉SLAM，一般包含双目匹配的过程。传统双目匹配方法计算量大，且准确度低。申请号为“CN201811416964.9”专利公布文件中公开了一种基于双目视觉和卷积神经网络的机器人定位系统及方法，其中公开了采用卷积神经网络提高双目匹配的精度，从而更好地获取更准确的数据建立稠密地图，但是采用卷积神经网络仍然导致双目匹配的计算量大，实时性较差，不能实时建立稠密地图，导致其难以在实际中应用。

发明内容

本发明为克服上述现有技术中双目特征法视觉SLAM方法双目匹配精度低、难以实时建立稠密地图的问题，提供一种基于BNN的稠密双目SLAM方法，实现高精度定位的同时降低计算量，能够实时建立稠密地图。

为解决上述技术问题，本发明采用的技术方案是：一种基于BNN的稠密双目SLAM方法，采用了一个包括BNN(二值神经网络)模块、ORB-SLAM2框架和稠密建图模块的系统；BNN模块：接收双目相机的左右图像，通过已经训练好的二值神经网络，实时计算左图对应的视差图；ORB-SLAM2框架：ORB-SLAM2是一种开源的基于特征的SLAM方法，支持单目、双目和RGB-D相机，通过BNN模块与ORB-SLAM2框架的融合来提供高精度的定位；稠密建图模块：稠密建图模块根据双目相机输入的图片和BNN模块得到的视差图，以及ORB-SLAM2框架得到的定位结果，实时建立稠密的三维环境地图。

其中，BNN模块包括特征提取单元、匹配代价计算单元、视差图优化单元；

所述特征提取单元，通过孪生二值网络，对左右目图像提取二进制图像块特征每个图像块特征对应权重得到带权二进制描述子，其中权重由网络学习得来；

所述匹配代价计算单元，通过计算所述带权二进制描述子的带权汉明距离，来度量图像块间的相似性，计算公式：

式中，表示网络学习到的权重向量；表示网络学习得到的权重向量的第j个元素；H()函数表示求汉明距离。

所述视差图优化单元，通过半全局匹配SGM来优化所述匹配代价，得到最终的视差图。

ORB-SLAM2框架包括相机运动跟踪模块、局部建图模块、回环检测模块；

所述相机运动跟踪模块用于估计相机的运动姿态；

所述局部建图模块用于建立稀疏环境地图；

所述回环检测模块用于检测回环，判断相机是否回到之前到过的场景，检测到回环后，进行回环矫正，矫正相关相机位姿和地图点位置；