[发明专利]基于相关性融合网络的多源遥感图像的逐像素分类方法

说明书

本发明公开了一种基于相关性融合网络的多源遥感图像的逐像素分类方法，从数据集中读入多光谱影像，包括已配准后的PAN和MS图像数据，以及对应只有部分区域的类标ground truth图；标记边缘样本；分别对PAN和MS图像进行预处理，选取训练集和测试集；构造多源遥感图像逐像素分类的融合网络模型；构造网络损失函数；用训练数据集对分类模型进行训练，得到训练好的分类模型；利用训练好的分类模型对测试数据集进行分类，得到测试数据集中每个像素点的类别。本发明提升了分类性能，改进的损失函数策略提升了遥感图像的逐像素分类性能。

技术领域

本发明属于图像处理技术领域，具体涉及一种基于相关性融合网络的多源遥感图像的逐像素分类方法，可用于环境监测、土地覆盖、城市建设等遥感图像地物分类相关领域中。

背景技术

如今，随着地球空间信息技术的发展和先进设备技术的支持，可以同时获取同一场景中的高分辨率与多光谱信息。但由于技术限制，单个传感器无法实现该目标，因此借助当前的多个传感器可获得多光谱(MS)图像和具有较高空间分辨率的全色(PAN)图像。具体MS图包含RGB以及近红外光谱信息，而PAN图虽然为单通道图像，但分辨率是MS图的四倍。所以相比于使用单一较多的光谱信息MS图用于遥感图像分类，结合PAN图中丰富的空间信息的方法更有利于分类任务，因为PAN图中的高分辨率信息对于准确描述图像中物体形状与结构非常有用。

目前，基于PAN和MS图像的多源遥感图像分类主要有两种：一是利用PAN锐化技术将PAN中的高分辨率信息融合到MS图，再将PAN锐化后的MS图进行分类。虽然PAN锐化技术已非常成熟，但在处理过程中仍会损失PAN中含有的光谱信息，并在MS图放大过程中引入噪声。二是首先从MS和PAN图像分别提取特征，然后再分类。现有基于该方法的深度分类网络是将MS和PAN图像分别经过不同的特征提取网络，最后通过级联、全连接层输出分类结果。但该方法在特征提取阶段未关联另一支路的特征，即没有考虑MS和PAN图像中提取的特征的差异与冗余，最后级联的方式过于“暴力”。三是将MS和PAN图像联合提取特征，然后分类。即将MS和PAN图像在网络的输入就直接通过通道维度进行合并，但是该方法会造成有利于分类的独有特征被MS和PAN图像共有的特征所覆盖。

针对多源遥感图像中的逐像素分类，通常截取以预测像素点为中心的图像块作为网络的输入，即预测像素点类别时结合其周围的邻域信息。虽然中心像素的真实标签为一确定的一类，但当该像素位于该类别的边缘时，截取的区域就会包含其他类别的信息。尤其在PAN和MS图像中，各类别的所占的比例非常不均匀且分散于整幅图像的各个区域，所以截取后的样本中，有一大部分为边缘样本。当这些样本也进入网络训练时，区域块中包含的其他类别信息会干扰网络的正常训练，网络会将这些信息也学入该类别而造成混乱。除去明显的边缘样本外，样本内部也会因为光照、噪声等影响，造成部分样本存在较大差异，而某些类别样本内部不可避免包含其他类别样本的信息，比如建筑群中包含部分绿地信息等。而传统的交叉熵损失中真实标签类概率为1，在训练中会造成过拟合。现有的标签平滑策略改变了每个样本的真实类别概率分布，即降低了真实标签的概率，将剩余概率均分给其他类别，以应对过拟合。但对于PAN、MS图逐像素分类任务，每个样本包含其他样本的比例不仅无法确定，而且每个样本包含其他类别的比例大多不同。所以，标签平滑策略并不合适。

发明内容

本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于相关性融合网络的多源遥感图像的逐像素分类方法，即在MS和PAN图像在提取特征阶段中，保留自身的独有特征的同时，并关注对方中相关性较强的特征，以达到MS和PAN图像渐进融合的目的。同时针对边缘样本处理与损失函数进行了改进。

本发明采用以下技术方案：

一种基于相关性融合网络的多源遥感图像的逐像素分类方法，包括以下步骤：

S1、从数据集中读入多光谱影像，包括已配准后的PAN和MS图像数据，以及对应只有部分区域的类标ground truth图；

S2、标记边缘样本；