[发明专利]鲁棒的多模态遥感图像目标检测方法

说明书

本发明属于图像信息处理技术领域，提供了一种鲁棒的多模态遥感图像目标检测方法。针对同一场景下无法获得三种模态图像的问题，提出了一种基于知识蒸馏的鲁棒的多模态遥感图像目标检测方法。它可以适用于不同种类的输入源图像，均可以得到较好的预测结果。它将一系列为不同模态图像专门设计的目标检测器的知识进行归纳综合，并形成一个鲁棒的单一网络。本发明的方法仅利用不对齐的多模态的图像便可以得到一个对多个模态遥感图像鲁棒的目标检测网络。

技术领域

本发明属于图像信息处理技术领域，特别是涉及多模态图像目标检测的方法。

背景技术

目前，与本专利相关的方法包括两方面：第一是基于深度学习的目标检测算法；第二是知识蒸馏的深度学习算法。

基于深度学习的目标检测方法主要分为两类：两阶段的目标检测算法，这种大多设计特定的网络结构用于提取可能是目标的区域，Ren等人在文献《Faster R-CNN:TowardsReal-Time Object Detection with Region Proposal Networks》中提出的网络就设计了一个用于提取可能是目标区域的RPN网络，然后再将这些区域进行分类，有了特定的区域进行辅助，因此精度较高，但也存在检测速度较慢的问题；一阶段目标检测网络，则没有提取感兴趣区域的网络结构，为提升网络准确度，大量学者采取了众多的研究，Redmon等人在文献《You Only Look Once: Unified,Real-Time Object Detection》采用将图像分块的方法，将目标检测的任务分给图像块，Lin等人在《Focal Loss for Dense ObjectDetection》中解决了一阶段网络样本不平衡的问题，提升了网络的检测准确度。由于一阶段网络抛弃了提取感兴趣区域这一计算过程，因此与二阶段的网络相比有着更快的目标检测速度，但是抛弃提取感兴趣的区域，也不可避免地导致了目标检测准确度的下降。

知识蒸馏的深度学习算法，Hinton等人在文献《Distilling the Knowledge in aNeural Network》提出，该方法提出目的是将复杂的教师模型知识压缩到一个简单轻量的学生模型中，从而提升轻量模型的性能。即通过将数据送入一个预训练好的教师模型中产生软标签来训练学生模型。虽然最初的设想是通过匹配预测将复杂的模型压缩为更简单的模型，但是蒸馏将这一做法进一步扩展到匹配中间层特征，域间知识迁移等诸多方面。

针对于多模态图像的目标检测，解决该问题的一种常见的方法是利用图像融合的方式，将不同模态的图像融合为一张图像送入网络进行检测。这就要求在同一场景下三种模态的图像是同时存在的，这一要求在大部分情境下都难以满足，因此也难以使用该方法检测。

发明内容

针对同一场景下无法获得三种模态图像的问题，提出了一种基于知识蒸馏的鲁棒的多模态遥感图像目标检测方法。它可以适用于不同种类的输入源图像，均可以得到较好的预测结果。它将一系列为不同模态图像专门设计的目标检测器的知识进行归纳综合，并形成一个鲁棒的单一网络。

本发明的技术方案：

一种鲁棒的多模态遥感图像目标检测方法，步骤如下：

采用三种模态的图像分别训练三个目标检测器；

采用ResNet50作为三个目标检测器的骨干网络来提取用于目标检测的特征；

在网络训练阶段，三个目标检测器的损失函数相同，差异在于输入的数据，对于任一一个目标检测器的损失函数说明如下：由于一张图像中仅有少量目标，直接利用交叉熵计算每个位置的损失函数会导致正样本的损失值被负样本的损失值“淹没”影响网络对正样本特征的学习，所以我们利用Facol Loss损失函数来平衡正负样本对应的损失函数值：