[发明专利]一种基于空间-光谱联合注意力机制的高光谱图像分类方法

说明书

本发明算法致力于解决传统卷积神经网络对以高光谱图像为代表的细粒度图像分类任务性能不足问题，提出一种基于空间‑光谱联合注意力机制的高光谱图像分类算法，配合卷积神经网络可以有效地捕捉图像全局特征，自适应地聚焦相似图像之间差异性较大空间局域特征；同时评估不同波段对任务贡献，使得神经网络更多地关注贡献大的光谱波段，提取图像光谱局部差异特征，提升高光谱图像分类精度，在以高光谱图像为代表的细粒度图像分类领域具有广泛的应用。

技术领域

本发明是一种基于空间-光谱联合注意力机制的高光谱图像分类方法， 通过将该方法提供的空间-光谱联合注意力机制模块嵌入卷积神经网络中， 可有效地捕捉图像全局特征，并自适应地关注图像之间差异性较大的局部区 域，大幅度提升卷积神经网络的特征提取和表达能力，实现对高光谱图像分 类。该方法可用于遥感图像处理领域。

背景技术

高光谱遥感技术是二十世纪末人类在机载观测系统和星载观测系统领 域最重要的技术突破之一，高光谱图像克服了传统单波段、多光谱遥感在波 段范围、波段数量以及精细地面目标观测、识别等方面局限性，在遥感对地 观测领域有其独特优势。高光谱图像分类在实际中是一项重要且有意义的任 务，具体来说，高光谱图像分类是根据不同光谱特征或空间特征对给定图像 进行识别并标记图像中每个像素点种类的任务。

与普通图像分类任务相比，高光谱图像由于光谱域的“维数灾难”和“同谱 异物”特点，使得分类任务变得更加困难。在这种情况下，传统单纯依靠光谱 信息的高光谱图像分类算法性能有限，基于联合空间-光谱信息的分类算法一 直是近年来的研究热点。

自2012年以来，以卷积神经网络(Convolution Neural Network,CNN) 为代表的深度学习技术异军突起在计算机视觉任务中取得了巨大成就。卷积 神经网络非常适用于处理图像空间域信息，并在普通图像分类任务中取得了 巨大成功，卷积神经网络最早于2016年用于高光谱图像分类任务。随后，各 种用于高光谱图像分类任务的卷积神经网络算法层出不穷，但这些算法由于 卷积网络“感受野”大小有限难以提取到图像全局特征。更糟糕的是，由于 高光谱图像数据的特殊性，在分类之前需要将高光谱数据进行预处理，即以每个像素为中心分割成立方体(一般大小取27*27)，并以中间像素标签为 每个立方体分类标签，使得相近而异类的像素立方体在空间特征非常相似， 通常称这种整体空间特征冗余，局部特征有微小差异的图像为细粒度图像。 而传统卷积神经网络处理这种具有空间冗余特征的细粒度图像能力很弱，严 重制约着卷积神经网络在高光谱等细腻度图像分类任务中性能进一步提高。

另外，不同于普通图像，高光谱图像有着非常丰富的光谱信息，大部分 传统分类算法认为不同光谱波段对算法任务贡献一样，但实际上由于光照、 大气等物理因素影响，导致有些波段趋于噪声化，对当前任务基本没有贡献， 甚至造成干扰。

基于此，设计一种能够有效捕捉图像全局特征，自适应地聚焦相似细腻 度图像之间差异性较大空间局域特征；同时评估不同波段对任务贡献，使得 神经网络更多地关注贡献大的光谱波段，提取图像光谱局部差异特征，提升 高光谱图像分类精度，是一个非常值得研究的问题。

发明内容

本算法致力于解决传统卷积神经网络对以高光谱图像为代表的细腻度 图像分类性能不足问题，我们提出一种基于空间-光谱联合注意力机制的高光 谱图像分类方法，配合卷积神经网络可以有效地捕捉图像全局特征，自适应 地聚焦相似图像之间差异性较大空间局域特征；同时评估不同波段对任务贡 献，使得神经网络更多地关注贡献大的光谱波段，提取图像局部差异特征， 提升高光谱图像分类精度，在高光谱等细腻度图像分类领域具有广泛的应用。

本发明算法提出了空间-光谱联合注意力机制模块，具备以下三个优势：

(1)算法可移植性强，可以随意地嵌入现有各种卷积神经网络中。

(2)算法通用性好，根据任务需求，灵活选择注意力机制模块。例如面 对没有光谱特征的普通细腻度图像分类任务时，灵活选用空间注意力机制模 块即可。