[发明专利]基于多尺度生成对抗网络的无人机遥感影像道路信息提取方法

摘要

本发明公开了一种基于多尺度生成对抗网络的无人机影像道路信息提取方法，将遥感图像分别通过卷积和反卷积操作，得到长宽各缩小一倍和放大一倍的图像，然后通过一个端到端训练的图像分割网络，得到三种对应尺度的输出特征图，然后通过卷积和反卷积操作，统一到原始大小尺度，通过逐像素相加的方法，将融合在一起并输入到判别网络中与标签图像进行对比得到误差，并更新生成网络和判别网络参数。经过一定数量训练数据的训练，最终将对抗生成网络中的生成网络的生成结果作为应用中的分割结果即提取的道路区域图像。针对无人机图像中道路区域占单张图像比例过大或过小的情况，本发明能很好的提取到道路区域，同时提高了无人机遥感影像中道路区域分割精度。

主权项

1.一种基于多尺度生成对抗网络的无人机影像道路信息提取方法，其特征在于，包括以下步骤：(1)、获取训练数据将原始无人机遥感图像裁剪成n×n大小的一系列遥感图像，然后制作标记出道路区域的标签图像，将各遥感图像及其对应的标签图像作为训练数据；(2)、构建生成网络2.1)、在生成网络中，对于n×n大小的遥感图像的RGB三通道图像，分别通过卷积操作和反卷积操作，得到大小分别为0.5n×0.5n和2n×2n的RGB三通道图像；2.2)、在生成网络中，将步骤2.1)中得到的大小为2n×2n的RGB三通道图像经过一个端到端训练的图像分割网络，得到一个大小为2n×2n的分类概率特征图，经过卷积操作，得到大小为n×n的概率特征图；2.3)、在生成网络中，将步骤2.1)中得到的大小为0.5n×0.5n的RGB三通图像经过与步骤2.2)中相同结构的端到端训练的图像分割网络，得到一个大小为0.5n×0.5n的分类概率特征图，经过反卷积操作，得到大小为n×n的概率特征图；2.4)、在生成网络中，将n×n大小的遥感图像的RGB图像经过与步骤2.2)中相同结构的图像分割网络，得到一个大小为n×n的分类概率特征图，即n×n的概率特征图；2.4)、在生成网络中，最后将步骤2.2)、(2.3)、(2.4)得到的三个大小均为n×n的概率特征图，通过逐像素相加的方法，融合三个尺度的图像特征，得到生成网络的输出特征图；(3)、将训练数据中n×n大小的遥感图像输入到步骤(2)构建的生成网络中，得到输出特征图，将输出特征图与n×n大小的遥感图像分别经过一次卷积操作，将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是假图像的输入，此时判别网络的期望输出为0，判别网络输出与此时的期望输出相减得到误差；(4)、将训练数据中n×n大小的遥感图像及其对应的标签图像分别经过一次卷积操作，然后将卷积得到的特征图连接起来作为判别网络的输入，经过判别网络之后得到一个介于0和1之间的输出，判别网络将此输入当做是真实图像的输入，此时判别网络的期望输出为1，判别网络输出与此时的期望输出相减得到误差；(5)、将步骤(3)、(4)得到的误差反向传播，更新生成网络和判别网络参数，其中，步骤2.2)、2.3)、2.4)中的端到端训练的图像分割网络共用权值参数；(6)、步骤(1)得到的训练数据中的所有遥感图像以及各自对应的标签图像，经过步骤(3)、(4)、(5)对生成网络进行训练，使生成对抗网络中的生成网络与判别网络达到一个平衡状态，生成网络产生的输出特征图(假图)与标签图像差异很小，以至于判别网络也判别不了其输入的图像是来自于标签图像还是来自于生成网络所产生的输出特征图(假图)；(7)、将达到平衡状态下的生成对抗网络中的生成网络单独取出来进行应用，将实际无人机拍摄到的遥感图像剪成n×n大小的一系列遥感图像，并将其作为输入，将生成网络的输出特征图作为分割结果即提取的道路区域图像。