[发明专利]一种基于深度学习的视觉SLAM方法

说明书

本发明公开了一种基于深度学习的视觉SLAM方法。包括以下步骤：建立基于深度可分离卷积的特征点和描述子提取网络，在Superpoint网络基础上，将深度可分离卷积应用于Superpoint网络，改进Superpoint网络描述子解码器的上采样方式和损失函数形式；将改进后的通道剪枝算法应用于深度可分离卷积，将Superpoint网络论文中的提供的模型作为教师网络，剪枝后的模型作为学生网络，并使用知识蒸馏的方式提升剪枝后网络提取特征点和描述子的精度；将轻量级网络应用于ORB‑视觉SLAM2的特征点和描述子提取过程，实现基于深度学习的视觉视觉SLAM系统。本发明能够解决特征点和描述子提取网络的天然劣势以及特征点和描述子提取网络在计算资源有限的设备上运行速度较慢的问题。

技术领域

本发明涉及视觉视觉SLAM算法技术领域，具体涉及一种基于深度学习的视觉SLAM方法。

背景技术

当前基于特征点的视觉视觉SLAM算法(如ORB-视觉SLAM2)均为基于手工设计的提取特征点和描述子的算法，手工设计的特征点和描述子提取算法的通过数学公式对图片进行进化和抽象来提取信息，其鲁棒性和泛化性较大规模数据集驱动的深度学习具有天然劣势。大数据驱动的深度学习能够比完全手工设计的算法提取更深层次的图像特征，鲁棒性和泛化能力更强。

考虑到基于深度学习的特征点和描述子提取网络将应用于视觉视觉SLAM中，而视觉视觉SLAM对于算法的实时性有着较高要求，传统的卷积方式计算量较大，因此需要将深度可分离卷积应用于Superpoint网络中，替换部分传统卷积，降低网络的参数量和计算量。

在现实生活中的部署卷积神经网络主要面临三大难题：

1.模型大小：上百万可训练的参数使得卷积神经网络性能表现优异，网络的参数和结构信息需要储存在硬盘中，在前向推理期间需要将网络参数和架构加载到内存中。然而一个在ImageNet上预训练好的VGGNet的16层网络模型的大小超过500M，这对于硬件资源有限的嵌入式等设备来说负担较重。

2.网络运行时间占用内存：在前向推理期间，卷积神经网络的中间层储存的值需要的存储空间甚至可能比模型参数的存储空间的大。这对于显存容量大的的GPU来说负担较轻，但是对于计算能力有限的硬件设备来说，可能其内存大小小于网络所需内存，网络不能正常运行。

3.计算量：需要密集计算才能完成在较高分辨率图片上的卷积操作，在计算能力有限的硬件设备上，一个大的卷积神经网络可能要花费几分钟才能处理一张图片，这使得在卷积神经网络很难大范围直接应用。

发明内容

针对现有技术的不足，本发明公开一种基于深度学习的视觉SLAM方法，能够解决特征点和描述子提取网络(应该是手工设计的特征点和描述子提取算法)的天然劣势以及特征点和描述子提取网络在计算资源有限的设备上运行速度较慢的问题。

为实现以上目的，本发明通过以下技术方案予以实现：

一种基于深度学习的视觉SLAM方法，包括以下步骤

S1：建立基于深度可分离卷积的特征点和描述子提取网络，在Superpoint网络基础上，将深度可分离卷积应用于Superpoint网络，改进Superpoint网络描述子解码器的上采样方式和损失函数形式；

S2：将改进后的通道剪枝算法应用于深度可分离卷积，将Superpoint网络论文中的提供的模型作为教师网络，剪枝后的模型作为学生网络，并使用知识蒸馏的方式提升剪枝后网络提取特征点和描述子的精度；

S3：将轻量级网络应用于ORB视觉SLAM2的特征点和描述子提取过程，实现基于深度学习的视觉视觉SLAM系统。