[发明专利]基于注意力与双向特征融合的遥感图像检索方法及系统

说明书

本发明提供一种基于注意力与双向特征融合的遥感图像检索方法及系统，包括输入训练数据，包括不同类别的遥感图像；构建并训练融合注意力机制与高低阶双向特征的深度哈希网络；所述深度哈希网络中，输入随机采样的成对的遥感图像，分别经过卷积层处理，得到卷积特征，对不同层次的卷积特征进行注意力机制处理，得到注意力特征，对低层与高层的注意力特征进行双向特征融合，将融合之后的特征经过全连接降维得到哈希特征，再通过量化得到图像的哈希码；训练网络时根据哈希特征计算带权交叉熵损失与分类损失，更新网络参数；引入类别信息作为海明距离度量的权重，基于训练所得网络实现遥感图像检索。本发明应用在遥感图像检索中可以取得很好的效果。

技术领域

本发明属于图像处理领域，涉及一种遥感图像检索技术，尤其涉及一种基于注意力与双向特征融合的遥感图像检索方案。

背景技术

随着遥感影像技术的快速发展，高分辨率遥感图像变得越来越容易获取，这为地质勘探、城市规划、自然灾害管控等相关实际问题的分析提供视觉信息辅助的同时，也促使遥感图像的数量在近年来得到爆炸式增长，面对海量的遥感图像数据，如何进行合理高效的组织管理成为数字地球建设中的瓶颈性难题。而遥感图像检索技术可以根据用户输入的遥感图像，在检索库中自动匹配所需数量的相似图像，大大减少人工查找比对的麻烦，并广泛应用于地理信息分析系统与遥感搜索引擎等实用场景。

遥感图像是一种内容丰富、覆盖面广、经济适用的空间数据载体，具有特征维度高，目标地物不突出的特点。在检索任务中，需要根据遥感图像的内容进行相似性检索，具体的检索流程包括遥感图像特征提取与相似性距离度量，特别是在特征提取的过程中，需要在遥感图像复杂的视觉信息中找到与目标地物有关的有用信息，过滤掉冗余的背景信息，使遥感图像在检索任务中的显著性信息得到充分的特征表达。

遥感图像检索经历了从使用传统方法到使用深度学习方法的过程，在早期基于传统方法的遥感图像研究中，多是针对图像的纹理、形状与颜色提取特征，比如使用Canny算子与小波变换提取遥感图像的边缘与形状特征，根据特征之间的欧氏距离来衡量遥感图像之间的相似性。尺度不变特征变换(Scale-invariant feature transform,SIFT)和词袋模型(Bag of Word model,BOW)也是遥感图像检索任务中常用的特征提取方法，基于传统方法提取的遥感图像特征称作手工特征，但是手工特征只能反映出遥感图像的低级语义信息，所取得的检索精度也不高。随着深度卷积神经网络的兴起，越来越多的遥感图像检索方法开始使用卷积神经网络提取遥感图像的高阶语义特征，相较于传统手工特征，基于卷积特征的检索方法在遥感图像检索精度上有着大幅度的提升。然而经典的卷积神经网络如AlexNet、VGG、ResNet等仅使用最后一层的卷积特征作为图像表征，丢失了许多低层卷积特征中体现类别差异性的信息，如果仅简单的将不同层次的卷积特征进行拼接，有可能带来冗余的信息干扰，影响最后的特征表达，进而降低检索效果。

为了解决上述遥感图像检索任务中特征表达不充分的问题，本发明提出了一种基于注意力与双向特征融合的遥感图像检索方法。对不同层次的卷积块特征进行注意力提取，减少遥感图像中无关背景信息带来的干扰；对经过注意力机制处理的不同层次的卷积特征进行“由低到高”和“由高到低”的双向特征融合，将高层语义特征与低层语义特征进行有效的信息互补。该方法增强了遥感图像在检索任务中的特征表达能力，并取得更高的检索精度。

为证明本专利的独创性，对已有类似的遥感图像检索工作展开调研，迄今为止发明名称内含有遥感图像检索的已有专利41项，其中基于遥感图像特征表达的相关专利14项，但没有与本项发明中的使用注意力与双向特征融合提取遥感图像特征的相关专利，该14项专利如下表所示：

其中前8项是基于手工特征的遥感图像检索的有关专利，后6项是基于深度特征的遥感图像检索的有关专利，下面列出其中与本发明最为相关的5项公开专利的分析。