[发明专利]面向两期遥感影像的多任务处理系统及方法

权利要求书

1.一种面向两期遥感影像的多任务处理系统，其特征在于，包括：双路分支特征提取模块、金字塔融合模块、语义指导模块、特征聚合模块、双路注意力机制模块、边界提升模块和上采样模块，其中：双路分支特征提取模块输出两种不同尺寸的特征图至金字塔融合模块，金字塔融合模块将两种特征图融合后输出至语义指导模块，两个语义指导模块分别获得高层的特征图和低一层的特征图：将高层特征图利用双线性插值的上采样方式获得与低一层特征图相同的尺度，并作为权重与低一层的特征图相乘实现高层信息指导低层信息学习，特征聚合模块进行双路相同尺度的特征图融合处理，语义指导模块捕获两期影像特征之间的差异性和关联性：将相加和相减的结果进行通道上的拼接后输出至双路注意力机制模块，双路注意力机制模块分别构造针对特征图的像素隶属度矩阵和通道隶属度矩阵，并将计算的隶属度矩阵与原始特征图计算，从而生成一对像素注意力和通道注意力的特征图，并将这一对特征图进行相加并输出至边界提升模块，四个边界提升单元组成的边界提升模块同时实现针对两期影像变化区域的具体变化种类识别以及不变区域的具体地物要素种类识别后输出至上采样模块，上采样模块输出原图大小的多任务处理结果，即同时实现针对两期影像变化区域的变化区域变化种类信息和不变区域地物要素信息；每个边界提升单元包括：3*3卷积层、激活函数层、以及残差连接的恒等映射。

2.根据权利要求1所述的面向两期遥感影像的多任务处理系统，其特征是，具体包括：第一至第八双路分支特征提取单元、第一至第六金字塔融合单元、第一至第六语义指导单元、第一至第四特征聚合单元、第一至第四双路注意力机制单元、第一至第四边界提升单元、第一至第四全卷积预测单元、和四个上采样单元，其中：四个双路分支特征提取单元组成的双路分支特征提取模块根据输入的两期影像信息进行并行的一对影像的特征提取处理并输出特征信息信息至金字塔融合模块，六个金字塔融合单元组成的金字塔融合模块根据输入的双路网络中单个特征提取的分支信息的相邻两个特征提取模块进行特征融合处理并输出融合信息至语义指导模块，六个语义指导单元组成的语义指导模块根据相邻两个特征金子塔模块的输出信息进行用高层特征作为权重与低层特征进行相乘处理并输出特征信息至特征聚合模块，四个特征聚合单元组成的特征聚合模块根据来自两期影像的相同尺寸信息的特征信息进行融合处理并输出融合特征信息至双路注意力机制模块，四个双路注意力机制单元组成的双路注意力机制模块根据融合特征信息进行像素与通道隶属度关系矩阵的计算并与原始的融合特征图相乘，最后将像素注意力的输出结果和通道注意力的输出结果做相加处理并输出基于注意力机制的融合信息至边界提升模块，四个边界提升单元组成的边界提升模块根据输入信息进行残差连接处理并输出信息至上采样，各个上采样单元根据特征信息进行反卷积处理并输出信息至输出。

3.根据权利要求2所述的面向两期遥感影像的多任务处理系统，其特征是，每个金字塔融合单元包括：反池化层、3*3卷积层、相邻特征图相加操作层、3*3卷积层；

每个语义指导单元包括：3*3卷积层、双线性插值层、相邻特征图相乘操作；

每个特征聚合单元包括：相同尺度的特征图的相加操作、相减操作、通道上的拼接操作层、3*3卷积层、以及将不同融合操作的输出结果图进行二次通道上拼接的操作层、以及最后统一通道数至128的3*3卷积层；

每个全卷积预测单元包括：卷积操作层，其中最后一层卷积的输出结果的通道数即为要分类的类别数；

每个双路注意力机制单元包括：用于维度转换的reshape层、特征图相乘操作层、以及通道与像素注意力特征图的相加操作层。