[发明专利]基于边缘约束与特征适应的Transformer双分支道路提取方法及装置

权利要求书

1.一种基于边缘约束与特征适应的Transformer双分支道路提取方法，其特征在于，包括以下步骤：

S1、对输入训练数据集进行数据增强处理，获得增强后的训练数据集；

S2、搭建双分支道路提取模型并进行初始化和超参数设置，获得初始化的双分支道路提取模型；

S3、将所述增强后的训练数据集输入所述初始化的双分道路提取模型中，通过Transformer编码器对增强后的训练数据集的图像进行四次下采样，使用跨窗口的自注意力机制建模得到包含局部信息与全局信息的特征图；

S4、将增强后的训练数据集的图像输入层次化特征卷积模型得到道路边缘标签，通过边缘约束分支将Transformer编码器输出的包含局部信息与全局信息的特征图恢复尺寸，得到用于约束道路面提取的道路边缘掩膜；

S5、通过道路面提取分支带有非对称上采样模块的解码器，将Transformer编码器各层输出的高层语义特征以跳级连接的方式进行多尺度特征整合，恢复特征映射，结合边缘分支特征约束，输出道路面预测结果；

S6、通过道路面预测结果和增强后的训练数据集中的道路面标签计算道路面损失函数，通过道路边缘掩膜和道路边缘标签计算道路边缘损失函数，进而计算联合损失函数，监督双分支道路提取模型两个分支特征的提取，通过联合损失函数与后向传播算法对模型特征映射进行训练，更新编码器和解码器中的参数；

S7、重复步骤S3-S6，直至获得训练后的道路特征提取模型，通过训练后的道路特征提取模型对待分类影像进行道路特征提取分类，获得待分类影像的道路面分类结果。

2.如权利要求1所述的基于边缘约束与特征适应的Transformer双分支道路提取方法，其特征在于，步骤S3包括

S31、将增强后的训练集的图像划分为4×4大小的非重叠的区块，并使用特征图线性归一化层将特征图维度展平，得到大小的特征图，其中H、W和C分别表示特征图的长、宽和通道数；

S32、将特征图进行四次下采样，每次下采样分别由2、2、6、2个相同的Transformer模块串联而成，每次下采样之间通过区块重组层将特征图长和宽减半，通道数量增加一倍，实现Transformer编码器特征多尺度分层表示，四次下采样得到的特征图大小分别为以及即得到包含局部信息与全局信息的特征图。

3.如权利要求2所述的基于边缘约束与特征适应的Transformer双分支道路提取方法，其特征在于，步骤S32中，每个Transformer模块包括：特征图线性归一化层、多头自注意力模块、残差连接和具有GELU函数的非线性的2层多层感知机；

两个Transformer模块为一组，第一个Transformer模块的多头自注意力模块基于正常窗口，计算各图像块与其他图像块之间的关系，计算公式为：

其中，z^l-1与分别为第l-1个、第l个Transformer模块中基于正常窗口的多头自注意力模块的输入与输出，W-MSA为基于正常窗口的多头自注意力模块，LN为特征图线性归一化层，MLP为多层感知机，z^l为第l个Transformer模块的MLP层的输出；

在正常窗口自注意力计算后，在第二个Transformer模块的多头自注意力模块基于滑动错位的窗口，捕获图像不同尺度下地物更广的空间细节，计算公式为：

其中，z^l和分别为第l个、第l+1个Transformer模块中基于滑动错位窗口的多头自注意模块的输入与输出，SW-MSA为基于滑动错位窗口的多头自注意力模块，LN为特征图线性归一化层，MLP为多层感知机，z^l+1为第l+1个Transformer模块的MLP层的输出。