[发明专利]一种基于BNN的稠密双目SLAM方法

权利要求书

1.一种基于BNN的稠密双目SLAM方法，其特征在于，包括如下步骤：

步骤一：对经过矫正后输入的左图，提取ORB特征；ORB特征由旋转多尺度FAST角点和角点对应的256位BRIEF描述子组成；

步骤二：获取左图深度图；对输入左右目图像，使用二值神经网络计算出左图的视差图，由得到的左图的视差图，根据双目测距原理，得到左图的深度图；二值神经网络共有四层并经过双目图像库训练，通过二值神经网络获取左图的深度图是通过使用带权汉明距离度量图像块的相似性，得到匹配代价，最后通过半全局匹配SGM来优化所述匹配代价，得到视差图，再根据双目测距原理，得到左图的深度图；

对于网络提取的图像块的特征其余弦相似性为：

式中，表示左图第i块图像块的特征向量；表示右图第i块图像块的特征向量；表示计算两个特征向量的余弦相似性；表示左图第i块图像块的特征向量的第j个元素；表示右图第i块图像块的特征向量的第j个元素；sign()函数表示二值化；

用加权汉明距离表示余弦相似性：

式中，表示网络学习到的权重向量；表示网络学习得到的权重向量的第j个元素；H()函数表示求汉明距离；

其中加权汉明距离最优权重的求解步骤如下：

式中，表示第i个权重向量的第j个元素；表示网络学习到的权重向量；表示网络学习得到的权重向量的第j个元素；表示最优权重；H()函数表示求汉明距离；J()表示构建最小二乘优化问题；

对关于求导，并令其为0，可得权重最优解：

式中，表示第i个权重向量的第j个元素；表示网络学习得到的权重向量的第j个元素；

步骤三：获取左图ORB特征点深度；在深度图可信区域定位ORB特征点的位置，获取对应ORB特征点的深度；

步骤四：估计当前相机运动姿态；

步骤五：生成关键帧，并通过关键帧进行局部建图；

步骤六：建立稠密地图；

步骤七：回环检测与回环矫正。

2.根据权利要求1所述的一种基于BNN的稠密双目SLAM方法，，其特征在于，所述步骤三的具体流程为：选择左图深度图可信区域，令可信区域长宽相对于原深度图长宽比例分别为a和b，参数a和b的设定可根据双目相机的参数确定，当双目相机基线较短时，选择较小的a和较小的b；不可靠深度剔除，深度过大或深度过小视为不可靠深度，设定深度上下阈值，阈值范围外的深度进行剔除，可以用双目相机的基线长度乘以某一常数的值来设定深度阈值；在深度图可信区域定位ORB特征点的位置，获取对应ORB特征点的深度。

3.根据权利要求2所述的一种基于BNN的稠密双目SLAM方法，，其特征在于，所述步骤四的具体流程为：

S4.1:若相机匀速运动，则根据匀速运动模型，根据上一帧的运动姿态估计当前帧的运动姿态；若相机非匀速运动，则将当前帧与当前帧的参考关键帧进行特征匹配，利用BoW词典加速匹配过程，根据匹配结果，优化当前帧的运动姿态；

S4.2：将当前帧与局部地图进行特征匹配，匹配结果用于优化步骤4.1的相机运动位姿估计，得到最终的相机运动姿态估计。

4.根据权利要求3所述的一种基于BNN的稠密双目SLAM方法，，其特征在于，所述步骤五建立局部地图的具体步骤如下：

S5.1：建立共视图和生成树；共视图由关键帧组成，若两关键帧之间有至少15个相同的地图点，则存在一条边，边的权重为两者拥有相同地图点的个数；生成树是共视图的子图，生成树的边权重要求至少是100；

S5.2：插入关键帧；将相机运动跟踪线程送入的关键帧进行处理，更新共视图和生成树；

S5.3：更新地图点；包括地图点裁剪和生成，地图点的生成利用三角化原理，从共视图的关键帧中的ORB特征点生成；地图点的裁剪为对观察次数少的地图点进行剔除；

S5.4：局部BA优化；优化当前帧和与当前帧在共视图中有关联的所有关键帧的运动姿态，以及这些关键帧对应的地图点的空间位置；

S5.5：局部关键帧裁剪；删除90％的地图点都能被其他关键帧观察到的关键帧，以控制局部地图的规模不至于过大。