[发明专利]一种基于深度学习的视觉SLAM方法

权利要求书

1.一种基于深度学习的视觉SLAM方法，其特征在于：包括以下步骤

S1：建立基于深度可分离卷积的特征点和描述子提取网络，在Superpoint网络基础上，将深度可分离卷积应用于Superpoint网络，改进Superpoint网络描述子解码器的上采样方式和损失函数形式；

S2：将改进后的通道剪枝算法应用于深度可分离卷积，将Superpoint网络论文中的提供的模型作为教师网络，剪枝后的模型作为学生网络，并使用知识蒸馏的方式提升剪枝后网络提取特征点和描述子的精度；

S3：将轻量级网络应用于ORB视觉SLAM2的特征点和描述子提取过程，实现基于深度学习的视觉视觉SLAM系统。

2.根据权利要求1所述的基于深度学习的视觉SLAM方法，其特征在于：在所述步骤S1中将Superpoint网络第一层和最后一层1×1卷积保持不变，其余卷积层均替代为深度可分离卷积，将Superpoint网络和深度可分离卷积进行融合变成计算量和参数量更低的基于深度可分离卷积的Superpoint网络。

3.根据权利要求1所述的基于深度学习的视觉SLAM方法，其特征在于：在所述步骤S1中将描述子解码器中上采样方式更改为更简单，计算量更小最近邻采样的插值方式。

4.根据权利要求1所述的基于深度学习的视觉SLAM方法，其特征在于：使用稀疏采样的方式计算描述子对之间的损失。

5.根据权利要求4所述的基于深度学习的视觉SLAM方法，其特征在于：随机采样N个对应点的描述子对，针对每个对应点采样M个非对应点的描述子对，对描述子特征图采样M×N个点，N和M为超参数，通过控制M使得的对应点和非对应点的描述子对数比例更均衡，通过控制N来控制采样密度，在所述步骤S2中上一层卷积核的删除使得深度卷积输入通道删除，使得深度卷积对应的卷积核删除，深度卷积输出通道也被删除，本层中输出γ中较小的值特征图通道和其对应的逐点卷积卷积核被删除。

6.根据权利要求5所述的基于深度学习的视觉SLAM方法，其特征在于：删除共享编码器最后一层逐点卷积卷积核的时候，需要删除特征点解码器和描述子解码器第一层深度卷积卷积核和逐点卷积卷积核中对应该卷积核的卷积通道。

7.根据权利要求1所述的基于深度学习的视觉SLAM方法，其特征在于：在所述步骤S2中删除批归一化层缩放因子γ较小的特征图通道、产生该通道的逐点卷积卷积核以及下一层与该通道相连的深度卷积和逐点卷积通道。

8.根据权利要求1所述的基于深度学习的视觉SLAM方法，其特征在于：在所述步骤S2中蒸馏过程中将语义分割当成逐个像素分类问题，直接使用知识蒸馏学生网络输出特征图的像素值，将教师网络产生的特征图作为训练学生网络的软目标，通过计算学生网络输出特征图和教师网络输出特征图的像素点KL散度的均值衡量分类差异的逐像素蒸馏损失。

9.根据权利要求1所述的基于深度学习的视觉SLAM方法，其特征在于：在所述步骤S2中利用特征图中的像素相似的信息，使得结构化知识从教师网络转移到学生网络，将像素点相似性应用于逐对蒸馏损失，通过逐对蒸馏损失使得学生网络和教师网络在像素点相似性的分布上接近。