[发明专利]一种基于多尺度注意力融合的遥感图像语义分割方法

说明书

本发明公开了一种基于多尺度注意力融合的遥感图像语义分割方法，主要涉及图像分割技术，目的在于解决高分辨率遥感图像的语义分割问题。本发明通过融合多模态数据解决遥感图像中目标难以分类的问题；引入注意力机制对特征提取阶段的资源重新分配，避免冗余特征；采用多尺度空间上下文模块解决遥感图像目标尺度差异性较大的问题；利用残差跳跃连接策略保留并优化了编码端信息，解决了下采样时图像特征丢失的问题。本发明不仅能够实现高分辨率遥感图像的语义分割，而且具有较高的分类精度，为高分辨率遥感图像的理解分析提供了客观准确的数据。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于多尺度注意力融合的遥感 图像语义分割方法。

背景技术

由于高分辨率遥感图像可以提供丰富的地面几何信息和地面目标细节，因此 已广泛应用于复杂场景下的地面目标分类和识别。高分辨率遥感图像的语义分割 需要为每个像素分配特定的语义标签，例如：建筑物、路面、汽车、树木和低植 被等。与单个目标识别相比，图像语义分割可以同时识别图像中的多个目标。因 此已广泛应用于军事目标检测、城市规划、建筑物识别和道路提取等领域。然而， 现有的高分辨率遥感图像语义分割技术面临以下挑战：首先，高分辨率遥感图像 的成像技术具有独特的复杂性，人工区分地面目标难度大、效率低；其次，来自 阴影、云和照明等干扰导致分类误差较大。与自然图像相比，遥感图像的语义分 割任务较为复杂。一方面，高分辨率遥感图像通常包含很多较为复杂的场景。另 一方面，遥感图像具有高类内方差和低类间方差的特点，不同的地物如树木和低植被在光谱图像中可能表现出相似的特征，这给高分辨率遥感图像语义分割任务 带来了挑战。然而，包含丰富地理信息的数字表面模型(Digital Surface Model, DSM)为地物分类提供了补充信息，实验表明充分利用DSM数据可以显著提高 分割的准确性。因此，研究一种鲁棒性强、准确率高的语义分割网络对理解高分 辨率遥感图像的复杂场景具有重要意义。

大量传统的机器学习方法已被用于遥感图像分析。尽管这些方法可以实现遥 感图像中的目标检测和识别，但由于难以进行可靠的特征提取，因此精度较低。 近年来，随着深度学习技术的快速发展，卷积神经网络在图像语义分割领域取得 了巨大的成功。众所周知，卷积神经网络可以提供分层特征表示并学习深度语义 特征，这对于通过堆叠卷积层来提高模型性能非常重要。此外，卷积神经网络可 以有效抑制噪声干扰，从而增强鲁棒性。

与传统的高分辨率遥感图像语义分割不同，多模态数据的加入对分类精度有 了进一步提升。针对如何合理利用两种模态的数据，相关技术公开了一种名为端 到端的DSM融合网络(DSM Fusion Network,DSMFNet)，该网络设计了四种交 互方式来融合处理多模态数据，其中精度最高的一种模型在提取RGB图像特征时 延续了Deeplab v3+的强大性能，并且设计了一种轻量型的深度可分离卷积模块单 独提取DSM图像特征，在上采样之前将不同模态的信息进行融合。虽然DSM图 像包含信息较少，但是简单的网络模型无法提取更深层次的特征，而且简单地将 红、绿、蓝(RGB)的光谱图像和DSM图像叠加并不能充分利用多模态信息之 间的关系，反而引入了冗余特征。

在高分辨率遥感图像语义分割任务中，待分割目标尺度差异性较大。针对目 标多尺度的问题，相关技术还公开了一种名为多尺度自适应特征融合网络 (Multi-scaleAdaptive Feature Fusion Network,MANet)，该网络使用了ResNet101 作为骨干网络提取图像特征，并且将高级语义特征传输至上下文提取模块，解决 了遥感图像中目标尺寸差异较大而难以分割的问题。自适应融合模块将高级语义 和低级语义信息融合，并将融合后的资源重新分配，在自适应组合权重的同时避 免了冗余信息。然而该算法在提取多尺度特征时未利用通道间的空间关系，对于 语义特征相似的目标，无法强调类内特征的相关性，导致了分割精度较低。

发明内容

为了解决现有技术中的问题，本发明提供了一种基于多尺度注意力融合的遥 感图像语义分割方法，能够实现高分辨率遥感图像的语义分割，避免冗余特征， 具有较高的分类精度，为高分辨率遥感图像的理解分析提供了客观准确的数据。