[发明专利]基于多尺度分割融合的实时语义分割方法

权利要求书

1.一种基于多尺度分割融合的实时语义分割方法，其特征在于，所述方法包括以下步骤：

建立并训练自适应多尺度分割融合网络模型；所述自适应多尺度分割融合网络包括主干网络、分类层、对齐模块和自适应多尺度分割融合模块；所述主干网络以残差网络ResNet-34为基础网络，删除ResNet-34中的全连接层将网络改造为全卷积神经网络的形式；使用带步长的卷积层代替ResNet-34中的池化层；将最后一个阶段的下采样提前到第一个阶段并缩减整个网络的通道数目；在最后一个阶段添加扩张率为2的扩张卷积；在ResNet的每个阶段的输出中添加一个分裂头，以获得每个阶段的输出；

将待处理图像送入所述主干网络进行特征提取，并输出多个尺度的特征图；

使用所述分类层对输出的各个尺度的特征图进行像素级分类，得到不同尺度的分割图；

使用所述对齐模块将所述不同尺度的分割图统一到相同的分辨率，得到相同大小的分割图；

将所述相同大小的分割图送入所述自适应多尺度分割融合模块，基于特定目标类别融合不同层次的分割上下文信息，得到融合的分割图；

使用卷积操作对融合的分割图进行一次细化，得到最终的分割结果；所述对齐模块使用基于引导上采样的方式将不同尺度大小的分割图调整到相同的尺寸；所述自适应多尺度分割融合模块，基于注意力机制，通过抽取全局特征以实现自适应权值计算，实现基于特定目标类别融合不同层次的分割上下文；包括：

所述自适应多尺度分割融合模块使用元素级别的加法对所述相同大小的分割图初始融合；

基于初始融合得到的分割图，抽取全局信息，计算各个通道在不同尺度上的权重因子；

使用softmax求取权重因子的概率后，将其拆分为n个向量；n为尺度数量；

将拆分后的n个向量分别加权至所述相同大小的分割图，得到融合的分割图。

2.根据权利要求1所述的基于多尺度分割融合的实时语义分割方法，其特征在于，训练自适应多尺度分割融合网络模型，包括：

原始图像和标注图像组成“图像-真值标签”；

将图像经过自适应多尺度分割融合网络模型处理后得到的分割结果和真值标签使用交叉熵损失函数计算损失；

使用Adam优化器训练网络并保存最优模型。