[发明专利]一种基于样本的选择性知识蒸馏方法及系统

说明书

本发明公开了一种基于样本的选择性知识蒸馏方法及系统，首先训练分割SEG图像和RGB图像分别完成VPR任务的网络，再将SEG特征中包含的高质量知识迁移到RGB特征中，将分割图像中的不变性特征在RGB特征中进行强化的同时，不需要在测试时保留额外的分支网络，将分割图像通过加权独热编码输入到训练网络中，提取针对视觉位置识别任务的场景结构信息；通过基于样本的选择性知识蒸馏，根据重要性施加不同的蒸馏损失权重，通过知识蒸馏的方式将额外模态信息中的不变性特征在RGB特征中进行强化，定向地强化高质量的知识，更大程度地提升网络精度；最终网络在测试时只用到RGB图像进行全局检索，兼顾了系统的实时性、高精度和环境鲁棒性。

技术领域

本发明属于计算机视觉和机器人领域，具体涉及一种基于样本的选择性知识蒸馏方法及系统。

背景技术

随着计算机视觉的蓬勃发展，基于深度学习的检索定位在机器人领域中展现了巨大的发展潜力。目前在机器人上可实时处理的高精度检索定位方案是使用RGB图像进行双阶段检索：首先基于全局特征进行检索排名，之后在选出的top-N中进行基于局部特征的重排名。其中只使用RGB图像进行图像级监督的全局检索方法效果不佳，无法很好地从RGB图像中提取出足够稳定、鲁棒的特征，来应对光线、季节等变化；而重排名过程在提高精度的同时，往往消耗大量的时间和计算资源。

为实现更好的全局检索效果，有些方法提出使用分割图像或深度图像等作为辅助，与RGB图像一起作为网络输入，并构建更大的网络结构，弥补只有RGB图像作为输入进行全局检索的不足。然而这种方法在实际测试时需要首先生成对应的分割图像或深度图像，并进行更大网络的推理，时间和资源的消耗依然较大，无法保证视觉位置识别任务的实时性需求。

因此需要一种新的训练方法，在强化RGB特征稳定性的同时可以减小时间和资源消耗。

发明内容

为了解决视觉位置识别任务中时间资源消耗与精度无法兼得的问题，本发明提供一种基于样本的选择性知识蒸馏的全局检索方法，致力于在不增加额外网络推理的情况下提升视觉位置识别任务的精度。

为了实现上述目的，本发明采用的技术方案是：一种基于样本的选择性知识蒸馏方法，包括两个阶段，第一阶段包括以下步骤：

采用MobileNetV2网络作为第一训练阶段的RGB分支网络，将MobileNetV2网络输出的多层特征图合并处理，得到RGB全局特征

采用简化的MobileNetV2网络作为第一训练阶段的SEG分支网络，将简化版MobileNetV2网络输出的多层特征图合并处理，得到SEG全局特征

第二阶段包括以下步骤：

对分割图像编码，采用one-hot编码形式将SEG图像转化为张量，one-hot编码形式转化为加权的编码，加大静态物体的初始编码值，降低动态物体的初始编码值；

使用三元损失作为网络的监督分别训练SEG分支网络和RGB分支网络，基于训练过的RGB分支网络和SEG分支网络，分别计算每个训练集样本对的全局距离；

设计样本集划分策略，得到样本对划分结果，其中，样本对为1个查询图像和1个正样本组成；所述样本集划分策略中，采用直角坐标系加以量化，并以设定的条件将样本集划分为不同的群，其中横轴x代表样本对(p,q)用训练过的SEG分支测试时，p在q的召回结果中的排名；纵轴y则代表样本对在RGB分支上的表现；

基于样本对划分结果，设定一个权重函数为每个样本对赋予其在蒸馏过程中的重要性程度；

通过RGB分支网络和最终的损失函数完成训练，而后通过RGB分支网络进行最终的测试推理，最终的损失函数三元损失函数和每个样本对的蒸馏损失函数求和得到；采用MobileNetV2网络作为第二训练阶段的RGB分支网络；将所述RGB分支网络输出的多层特征图合并处理，得到最终的全局特征。