[发明专利]一种基于拓扑信息细化的道路提取方法

权利要求书

1.一种基于拓扑信息细化的道路提取方法，其具体操作步骤为：

1)进行模型训练：模型可分为encoder、center和decoder三部分，其中encoder将输入的图像编码为高维特征；center包含并联的扩张模块DM和信息模块MM，对encoder的输出进行特征再处理后，采用像素级相加的方式，融合为同维度的新特征；decoder将高维度特征经过上采样和去卷积方式，恢复至输入图像的尺寸，然后采用sigmoid预测出道路的概率图并以0.5为阈值判断，最后生成二值化的道路分割图，此外，模型训练使用的损失是二元交叉熵和dice efficient项的权重组合；

(2)进行测试过程：将测试集数据输入到训练好的模型当中，预测出道路图，并与真实标记做对比，计算相关指标；

(3)比较不同超参数或损失函数的参数的组合对模型的影响，择取最优参数，最后将本文方法与其他方法比较。

2.按照权利要求1所述的一种基于拓扑信息细化的道路提取方法，其特征在于所述Center部分，包括扩张模块DM和信息模块MM，实现从输入的高分辨率遥感图像中提取出所有属于道路的像素，最终二值化为道路图，图1中左右对称的块代表具有相同大小和通道的特征，每个特征块下的表达式n2×c意味着feature map大小为n×n,和通道的数量是c。

3.按照权利要求1所述的一种基于拓扑信息细化的道路提取方法，其特征在于所述扩张模块DM的结构中参数r代表扩张率，f代表实际的感受野大小，通常，道路在整个图像上都有分布，关注道路的结构分布很有必要，而DM在不降低图像分辨率的前提下，通过串联和并行连接的扩张卷积层增加感受野，DM组合不同扩张率，即在有间隔的行列间卷积得到信息，有助于获取多尺度信息，从而利于获取道路的结构分布。

4.按照权利要求1所述的一种基于拓扑信息细化的道路提取方法，其特征在于所述信息模块MM用高维隐层特征作为输入； 输入特征的高度、宽度和通道数分别为32、32、512；参数k是卷积核的宽度，MM有四个方向的切片：向上、向下、向左和向右，图中只显示了向下和向上的方向，左右方向相似，在每个方向上，沿着特征的高度(向上和向下)或宽度(左和右)对特征进行切片，第一个切片经过卷积和ReLU非线性，然后叠加至下一个切片，形成一个新的切片，新切片依次重复相同的处理，直到最后一个切片被更新，从而获得一个大小为32×32×512的新特性，相同方向上的连片卷积的权值是共享的，且不同于原始的空间CNN，采用随机初值化，MM对相邻像素行列的信息加强，在弥补DM由于计算独立的像素导致局部信息丢失的问题的同时，有助于对道路连通性的保持。

5.一种基于拓扑信息细化的道路提取方法，其实现的步骤如下：

步骤1，Encoder部分，输入高分辨率遥感图像，encoder将其编码为32×32×512的高维特征，Encoder使用ImageNet上预训练好的ResNet做为特征提取器，输入尺寸调整为1024×1024；

(1a)数据预处理：RSRE采用数据增强，避免了在没有交叉验证的情况下过度拟合的问题，增强方式包括翻转、垂直翻转、对角翻转、颜色抖动、图像平移和缩放，在预测阶段，每幅图像都有水平翻转、垂直翻转和对角翻转操作，采用python内置函数完成：

(1b)提取输入图像的高维度特征：调取预训练的ResNet特征提取器前4层，并将原始输入256×256调整至1024×1024；

步骤2，DM增大感受野：步骤(1b)中高维度特征作为输入，输出同维度的但保留了更多语义信息的特征，DM模块主要由dilated convolution构成，且有串联和并联两种连接方式，选用的扩张率分别为1(普通卷积)、2、4、8，对应感受野由1增大至3、7、15、31，Dilatedconvolution与普通的卷积相比，除了卷积核的大小以外，还有一个扩张率(dilationrate)参数，主要用来表示扩张的大小，扩张卷积与普通卷积的相同点在于，卷积核的大小是一样的，在神经网络中即参数数量不变，区别在于扩张卷积具有更大的感受野，感受野是卷积核在图像上看到的大小，普通卷积过程表示如下：

则Dilated convolution表示为：

其中，(i,j)描述像素位置，(m,n)表示滤波器中的参数位置，r表示扩张率，则感受野f的计算方式为：

f＝2(k-1)(r-1)+k (3)

其中，k为卷积核大小，RSRE的实验中取值为3；

步骤3，MM模块增强邻近像素间信息传递，MM和DM为并行操作，因此以步骤1中高维度特征作为输入，输出同维度的但保留了更多语义信息的特征，MM包括上下左右四个方向上的slice-to-slice convolution，通过方向上的像素值更新，增强方向上的像素信息传递，以向下传播为例，将特征块沿高度划分为H片，则每一个新片的特征值计算为：

其中，F_i,j,k表示通道i，j行，k列上的特征值，old表示原来的特征值，new代表更新后的特征值，K为卷积核，参数随机初始化，relu表示非线性激活函数，更新完H个片特征后，组合为新的特征块，作为输入，在其他方向上更新，以此让像素间的信息在上下左右方向上传递，最后得到一个新的特征块； MM处理过程中特征的维度不变，仍然为32×32×512；

步骤4，DM和MM特征融合，将步骤2和步骤3的输出进行同维度的像素级的累加，得到新的32×32×512的特征；

步骤5，Decoder恢复输入图像同等分辨率，以步骤4中输出特征作为输入，通过转置卷积层进行上采样，输出1024×1024的特征，同时，在对应的维度512、256、128、64上，将Encoder部分对应维度的特征与去卷积的输出特征融合(像素级累加)，即能够结合语义信息与细节信息；

步骤6，Sigmoid层输出像素概率值：输入是步骤5得到的特征，经过sigmoid函数，输出每个像素的概率值；

步骤7，阈值判断：选取阈值为0.5，对sigmoid输出概率大于0.5的像素，判定为道路像素，对sigmoid输出概率小于0.5的像素，判定为非道路像素：

步骤8，二值化为道路图像； 对步骤7中，道路像素赋值为255，非道路像素赋值为0，复制成三个通道，合成最终的道路二值化的分割图：

步骤9，构造损失函数优化网络； 用权重组合二元交叉熵损失和dice coefficientitem，比较输出的道路图与输入的真实标记，训练RSRE网络：

虽然道路分布在整个高分辨率图像中，但图像中属于道路的像素要比非道路的像素少很多，也就是存在类别数量上的不均衡，这有可能使训练结果向像素较多的非道路类倾斜，因此，本文使用了一个新的损失函数，它同时使用了dice coefficient项(5)和二元交叉熵(6)；

x_n代表第n个高分辨率遥感图像，且n＝1，2，3，…，N，N最小batch大小； y_n代表图像x_n的ground truth(GT)，GT是二进制map图； f_w(x_n)表示RSRE的预测到的道路图,w是RSRE需要优化的权重，参数m是一个可调节参数。

损失l_dice可以看做是GT和预测的f_w(x_n)的相似性度量，而交叉熵可以看做是GT和预测的f_w(x_n)的距离度量，它是语义分割中常用的训练损失； 但是，在样本不均衡的情况下，多次迭代后二元交叉熵损失要对模型的约束作用减弱，导致模型倾向于预测数量多的类别；道路提取可以看做是像素级的识别，只有属于道路的像素才可以被看做是正样本；很明显，正负样本间存在着不均衡，为了解决这个问题，RSRE用参数λ组合l_dice和l_bce，并调节λ和m来控制不同损失对训练结果的效果； 最终训练损失的形式如公式(7)：

loss_w＝l_dice+λl_bce. (7)

其中，参数w是RSRE需要更新的权重，λ是一个常数项，需要预先设定： 通过最小化损失函数，最终得到最优w解，RSRE选择Adam作为优化器来最小化损失函数；

测试过程：

为评价RSRE在高分辨率遥感图像道路提取中的有效性，引入了precision(P)、recall(R)和F₁-score:

其中TP、FP、TN、FN表示真阳性、假阳性、假阴性和假阴性像素的数量； P表示图像中所有道路像素被正确预测的百分比，R表示所有正确预测的像素与检测到的道路像素的比例，F₁分数是一个评价指标P,R之间的调和平均数。