[发明专利]一种基于多模态遥感图像细粒度弱特征目标涌现检测方法

说明书

本发明公开了一种基于多模态遥感图像细粒度弱特征目标涌现检测方法。先将标注好的多模态遥感检测数据集划分为训练集和测试集，进行预处理；然后利用加入了三维卷积模块的深度卷积神经网络实现对多模态数据的通道优选及高级语义信息提取，构建特征金字塔；接着利用原始标注信息构建语义真值图以及语义引导模块，将预测到的语义信息与真实标注信息对比，对原始特征图进行类注意力机制的引导；最后使用单阶段的检测头，在修正后的特征图上进行目标类别与位置信息的预测，并进行位置信息解码，得到最终结果。这种检测方法采用的网络结构设计合理，针对多模态遥感数据中的弱特征目标的检测效果良好且算法能够满足对多模态数据进行实时处理的需求。

技术领域

本发明涉及遥感图像处理领域，尤其涉及一种基于多模态遥感图像细粒度弱特征目标涌现检测方法。

背景技术

对遥感图像进行实时处理的需求随遥感成像技术的逐渐发展而日益强烈。根据拍摄平台距地面高度，遥感图像可分为天基遥感图像和空基遥感图像。天基遥感图像一般由人造卫星等太空设备垂直向下观测而形成，而空基遥感图像往往是通过侦察机等装备以较大的倾斜角对地观测而得到。

依据是否需要主动搭载辐射源，遥感成像方式可分为主动成像和被动成像。典型的主动成像方式为合成孔径雷达成像；遥感中的被动成像中一般指光学成像，应用较为普遍的有可见光图像、红外图像、全色图像等。受到成像硬件的能力制约，早前的天基及空基成像系统一般仅支持一种成像方式，难以同时获得对同一地点的雷达成像与光学成像结果。近年来，以capella space为代表的一些商业遥感公司实现了主被动成像方式在同一平台上的集成，实现了光学遥感图像与合成孔径雷达遥感图像在成像阶段的配准，为研究人员提供了大量配准后的多模态遥感数据。

在众多遥感图像的应用场景中，目标检测是一个热门应用。遥感图像目标检测要求从遥感图像中检测出飞机、跑道、油罐、舰船等重要目标的位置。但天基遥感平台到地面距离较远、空基大倾角对地成像过程受大气效应影响较大，使得遥感图像中车辆等典型小目标占据的像素很少，较易出现特征弱化、异化的问题。得益于近年来遥感成像设备空间分辨率的提升，以车辆为代表的小目标在遥感图像中的像素数目可以达到100-300左右，使得对遥感图像中车辆等小目标的检测具备了一定的可行性。

综上，针对多模态遥感图像的弱特征目标涌现检测方法是遥感目标检测领域仍需填补的技术。

现有目标检测模型可分为传统模型和深度学习模型两大类；其中，深度学习模型相较于传统模型，检测结果更精确、检测速度更快、检测效果更好。但是目前的深度学习检测模型还未能很好地解决分布密集、小尺寸、任意方向的遥感目标检测问题。

小目标检测难点在于小目标包含的信息很少，在模型推测过程中会丢失大量甚至全部信息，导致检测效果很差。目前的目标检测网络还偏向于用单一的可见光或红外图像进行检测，未能充分利用多种传感器采集到的信息量优势。旋转对遥感图像目标检测的影响非常大，然而目前广泛采用的基于提取特征的卷积神经网络的旋转不变性表现较差。

发明内容

本发明所要解决的技术问题是，提供一种基于多模态遥感图像细粒度弱特征目标涌现检测方法，能够克服遥感图像中弱特征目标检测精度低、虚警率高的问题，可以实现对模态遥感图像的综合利用、提高对遥感弱特征目标的检测效果。

为了解决上述技术问题，本发明是通过以下技术方案实现的：一种基于多模态遥感图像细粒度弱特征目标涌现检测方法，包括以下步骤：

(1)将标注好的多模态遥感检测数据集划分为训练集和测试集，并对训练集和测试集进行预处理；

(2)利用加入了三维卷积模块的深度卷积神经网络实现对多模态数据的通道优选及高级语义信息提取，并在此基础上构建多层次特征金字塔；

(3)利用原始标注信息构建语义真值图，构建语义引导模块，将预测得到的语义信息与真实标注信息进行对比，对原始特征图进行类注意力机制的引导、达到降低虚警率的目的；