[发明专利]基于拼图引导的深度特征融合的遥感图像场景分类方法

说明书

本发明涉及一种基于拼图引导的深度特征融合的高分辨率遥感图像场景分类方法，首先对原始图像生成一个拼图，将拼图送入网络模型的浅层卷积块进行浅层特征的学习，然后将原始图像送入完整的网络模型学习深度全局语义特征，最后将浅层卷积块的输出特征和完整网络的最后一层卷积块的输出特征进行融合，进行分类。本发明的策略能引导网络更加关注模型浅层特征的学习，融合后的特征包含更为丰富的场景信息，增加了目标的可区分性，相比已有方法，该发明方法能够有效提高分类精度，同时提高模型的泛化能力。

技术领域

本发明涉及遥感领域，特别是一种基于拼图引导的深度特征融合的高分辨率遥感图像场景分类方法。

背景技术

高分辨率遥感图像场景分类是指根据给定的一组语义类别对图像区域进行自动标注，如海洋、陆地、河流等，为目标检测、识别等任务提供有效的上下文信息。目前，高分辨率遥感图像场景分类已经被广泛应用于交通旅游规划、山火损失评估、查违拆违、地址调查以及城市规划等重大领域。与普通的图像分类任务不同，遥感图像场景中地物目标的形式多样、空间分布复杂，一幅遥感图像场景中可能包含着多种地物类型，例如密集住宅区场景中可能包含房屋建筑、道路、树木等一些地物目标，具有类间相似性大、类内差异性大的特点。因此，如果直接使用主流的深度学习网络模型，会导致网络倾向于关注图像中对象的某个区域或某一结构，导致分类结果不够精细。

为了提高场景分类准确性，需要跳出仅仅使用单一特征类型进行场景描述的思想，从遥感图像场景的自身特性出发，提取合适的特征并选择高效的融合策略对多特征进行融合，使得融合后的特征能够涵盖有图像中对象的整体结构。并且由于高分辨率遥感图像场景分类的标记成本较高，因此若想将训练好的模型迁移到实际应用中，所训练的模型需具备尽可能高的泛化能力。因此，如何获得有较强场景描述能力、区分能力的场景级特征和尽可能高的模型泛化能力成为了有效提高场景分类性能的关键所在。

发明内容

有鉴于此，针对高分辨率遥感图像场景分类中直接使用现有的网络模型获得的单一特征描述符不能有效表达高分遥感图像的语义信息，造成分类精度不高和泛化能力不强的问题，本发明的目的是提供一种基于拼图引导的深度特征融合的高分辨率遥感图像场景分类方法，能够训练网络关注图像的局部信息和全局语义信息，获取更为全面的特征描述，最终获得更好的分类结果。

本发明采用以下方案实现：一种基于拼图引导的深度特征融合的高分辨率遥感图像场景分类方法，包括以下步骤：

步骤S1：令采用的主干特征提取网络模型F共有L层卷积块；首先，输入高分辨率遥感图像数据即原始图像，通过一个拼图生成器，将图像数据的布局随机分块后再拼接，生成原始图像的一个随机拼图，然后送入到主干特征提取网络模型F的前L⁄2层卷积块，进行对浅层卷积块的训练，用以促进主干特征提取网络模型F对于图像局部信息的关注；

步骤S2：将输入的高分辨率遥感图像数据即原始图像送入主干特征提取网络模型F的所有卷积块，即对主干特征提取网络模型F所有的L层卷积块进行训练，用以促进主干特征提取网络模型F对于深层特征的关注和图像语义信息的学习，将主干特征提取网络模型F的整个聚焦区域扩大到整个图像；

步骤S3：通过将主干特征提取网络模型F的第L⁄2层卷积块的输出特征和第L层卷积块的输出特征分别送入由二维卷积Conv2d和归一化函数BatchNorm2d组成的卷积块进行维数处理，将两个输出特征的维数均处理成相同维数后进行concatenate通道特征融合，用以使整个模型能够学习到图像的全局语义信息和局部信息；

步骤S4：将融合后的特征送入经过归一化函数BatchNorm、全连接层、归一化函数BatchNorm、ELU激活函数以及全连接层组成的分类模块进行分类，即对前层的特征进行一个加权和，将特征空间通过线性变换映射到样本标记空间，得到最终的分类结果。

进一步地，步骤S1中所述的主干特征提取网络模型F采用ResNet或VGGNet。