[发明专利]一种基于改进Transformer孪生网络的遥感图像变化检测方法

说明书

本发明公开了一种基于改进Transformer孪生网络的遥感图像变化检测方法。包括：对两时期的遥感图像进行直方图匹配预处理；将遥感图像输入CNN主干网络提取高级语义特征；利用空间注意力机制将两个不同时期特征图转为一组紧凑的语义标签；使用Transformer编码器在两个标签集中对全局信息进行建模；生成含有丰富全局信息的标签，由孪生Transformer解码器重新投影到像素空间，增强原始像素级特征；从两个细化的特征图中计算特征差异图像，然后输入浅层CNN中，生成像素级别的预测变化图；最后对预测变化图进行连通域滤波处理得到变化结果图。本方法能应对两时期图像色彩风格差异较大的情况，并能有效去除伪变化噪声点，达到高准确率识别的目的。

技术领域

本发明涉及遥感图像处理与人工智能技术领域，具体为一种基于改进Transformer孪生网络的遥感图像变化检测方法。

背景技术

随着人工智能技术的兴起，特别是基于深度学习的图像识别方法获得了极大的发展，相关技术也推动了遥感领域的变革。CNN是近年来计算机视觉领域使用较多的网络结构，其具有很好地局部特征捕捉能力，但由于感受野较小，在全局上会丢失掉较多的信息。相对于CNN而言，Transformer网络是从自然语言处理领域移植到计算机视觉领域中的一项技术，得益于其自注意力机制，网络结构能够汇聚空间层面上的信息，最终获得更加丰富的语义信息，能够更好地保留全局信息。所以，将二者结合起来，能够达到捕捉局部特征的同时保留全局信息的目的。

传统的VIT中，网络实质上是用一个分类的token去学习整合transformer的特征的，然后依靠token进行分类预测的。本发明提出可以用少量的语义标签(semantictokens)去学习整合两张图片真正变化的部分和高维像素点代表的特征，然后用语义标签联合表示，那么网络即可以得到高效性和高性能。

同时，在CV下游任务中，任务精度往往与backbone的特征表达能力有关，虽然当今比较火热的Resnet18网络结构能够有效地解决网络退化以及梯度爆炸或消失等问题，但其串联结构简单，不能够很好地提取高分辨率的语义信息。针对该问题，本发明提出用更为高级的异构结构HRNet作为CNN主干网络，其并行提取特征的结构以及特殊的融合特征图机制使得能够在提取高维特征的同时保留丰富的空间信息。

由于遥感图像常受季节以及天气变化等外界因素的影响，两个时期的图片色彩差异通常较大，导致模型识别准确度下降。并且由于变化检测任务的特殊性，类别严重不平衡的问题时常发生，即变化类区域通常远少于未变化类区域，导致模型时常会识别出部分伪变化噪声点。为解决上述问题，本发明提出以改进Transformer孪生网络模型为基础，结合相应的图像预处理和后处理的高分辨率遥感图像变化检测方法。

发明内容

本发明的目的在于针对CNN模型对全局捕捉能力差的问题，提出一种基于改进Transformer孪生网络的方法，从而结合CNN和Transformer的优点，在捕捉局部特征的同时保留全局信息，从而达到更好地语义理解，有效提高了变化检测预测的准确率。而针对遥感图像易受天气、季节变化等原因的影响使模型预测准确率下降，采用直方图匹配的方式对图像进行预处理可以大幅减少此类因素带来的影响。在经过模型预测得到预测图后选择对其进行连通域滤波处理，可以进一步提升预测准确率，最终得到更加接近真实结果的预测图。

为实现上述目的，本发明提供如下方案，包含以下步骤：

步骤1：图像预处理，判断两幅不同时期的遥感图像I¹、I²的巴氏系数是否小于阈值(取0.7)，如果小于阈值则进行步骤2，否则直接进行步骤3；

步骤2：对图像进行直方图匹配处理，得到两幅处理过后图像，记作

步骤3：将I₁、I₂(或)输入预训练好的CNN主干网络进行并行特征提取得到X₁、X₂；