[发明专利]面向两期遥感影像的多任务处理系统及方法

说明书

一种面向两期遥感影像的多任务处理系统及方法，包括：双路分支特征提取模块、金字塔融合模块、语义指导模块、特征聚合模块、双路注意力机制模块、边界提升模块和上采样模块，本发明通过构造双路网络进行两期遥感影像的特征提取，设计信息流模块引导高层语义信息指导底层空间信息进行特征学习，并通过特征聚合模块有效融合两期影像特征图，充分捕获两期影像之间的关联性和差异性。后续通过注意力机制模块增强特征信息的表达能力，从而实现多任务智能处理。

技术领域

本发明涉及的是一种图像处理领域的技术，具体是一种面向两期遥感影像的多任务处理系统及方法。

背景技术

随着深度学习在遥感影像处理中成功应用，遥感影像的多任务智能处理成为研究热点，其目的是利用深度卷积网络，通过构建端到端的多任务学习模型，同时实现不同的任务，如影像分类、分割、变化检测等。现有深度网络被引入两期遥感影像变化区域的变化类别信息提取，主要包括基于语义分割的FullyConvolutional-Earlyfusion(FC-EF)，deepSiamese multi-scale convolutional network(DSMS-CN)等，基于目标检测的Faster R-CNN，以及基于双路网络与图块级检测方法的AggregationNet等。然而，两期遥感影像除变化区域外，其不变区域中也包含感兴趣的核心要素需要进行提取。现有用于遥感影像核心要素提取的方法主要有基于深度网络的方法，如Bilateral Segmentation Network(BiseNet)，Pyramid attention Network(PAN)以及Pyramid Scene Parsing Network(PSPNet)等。

现有技术的缺陷在于：在完成多任务时需要将两期影像分别送入模型进行分类，并将分类结果进行对比，这种方式大大增加了测试阶段的时间。另一方面，这种方式将两期影像当做两个单独的对象进行分析，无法利用两期影像特征之间的差异性和关联性，因此实现效果较差。

发明内容

本发明针对现有技术存在的上述不足，提出一种面向两期遥感影像的多任务处理系统及方法，通过构造双路网络进行两期遥感影像的特征提取，设计信息流模块引导高层语义信息指导底层空间信息进行特征学习，并通过特征聚合模块有效融合两期影像特征图，充分捕获两期影像之间的关联性和差异性。后续通过注意力机制模块增强特征信息的表达能力，从而实现多任务智能处理。

本发明是通过以下技术方案实现的：

本发明涉及一种面向两期遥感影像的多任务处理系统，包括：双路分支特征提取模块、金字塔融合模块、语义指导模块、特征聚合模块、双路注意力机制模块、边界提升模块和上采样模块，其中：双路分支特征提取模块输出两种不同尺寸的特征图至金字塔融合模块，金字塔融合模块将两种特征图融合后输出至语义指导模块，两个语义指导模块分别获得高层的特征图和低一层的特征图：将高层特征图利用双线性插值的上采样方式获得与低一层特征图相同的尺度，并作为权重与低一层的特征图相乘实现高层信息指导低层信息学习，特征聚合模块进行双路相同尺度的特征图融合处理，语义指导模块捕获两期影像特征之间的差异性和关联性：将相加和相减的结果进行通道上的拼接后输出至双路注意力机制模块，双路注意力机制模块分别构造针对特征图的像素隶属度矩阵和通道隶属度矩阵，并将计算的隶属度矩阵与原始特征图计算，从而生成一对像素注意力和通道注意力的特征图，并将这一对特征图进行相加并输出至边界提升模块，边界提升模块同时实现针对两期影像变化区域的具体变化种类识别以及不变区域的具体地物要素种类识别后输出至上采样模块，上采样模块输出原图大小的多任务处理结果，即同时实现针对两期影像变化区域的变化区域变化种类信息和不变区域地物要素信息。