[发明专利]基于多尺度分割融合的实时语义分割方法

说明书

本发明提供了一种基于多尺度分割融合的实时语义分割方法，涉及机器视觉技术领域，该方法包括：建立并训练自适应多尺度分割融合网络模型；自适应多尺度分割融合网络包括主干网络、分类层、对齐模块和融合模块；将待处理图像送入主干网络进行特征提取，并输出多个尺度的特征图；使用分类层对输出的各个尺度的特征图进行像素级分类，得到不同尺度的分割图；使用对齐模块将所述不同尺度的分割图统一到相同的分辨率，得到相同大小的分割图；将相同大小的分割图送入融合模块，基于特定目标类别融合不同层次的分割上下文信息，得到融合的分割图；使用卷积操作对融合的分割图进行一次细化，得到最终的分割结果，实现了高效快速的实时图像语义分割。

技术领域

本发明涉及计算机视觉技术领域，尤其是涉及一种基于多尺度分割融合的实时语义分割方法。

背景技术

图像语义分割是计算机视觉领域基础任务之一，最近几年因为深度学习的扩展得到了广泛的发展。然而，现有高精度方法基于较深的网络设计和复杂的特征重用，难以达到实时应用的目的。实时语义分割期望在速度和性能上同时得到优异的表现，实现在实时场景下的应用。

当前，实时图像语义分割方法主要通过轻量化主干网络设计、简化解码器结构降低模型复杂度以实现快速分割框架。这些方法期望用一个简单的框架获得速度和性能的权衡。

然而这样的做法难以恢复在下采样过程中丢失的空间细节信息，导致这些方法往往无法取得精确的分割结果。另一方面，过度的下采样成为提高实时语义分割算法推理速度的一种常用范式，但这样的做法使得最终的特征图的分辨率过低，又进一步增加了模型恢复空间信息的难度。

发明内容

有鉴于此，本发明提出一种基于多尺度分割融合的实时语义分割方法，使用多尺度分割融合的方法，基于特定目标类别融合不同层次的分割上下文信息。通过在网络深层的分割图中融合网络低层分割图的丰富的空间细节，实现了高效快速的图像语义分割。

为此，本发明提供了以下技术方案：

本发明提供了一种基于多尺度分割融合的实时语义分割方法，所述方法包括以下步骤：

建立并训练自适应多尺度分割融合网络模型；所述自适应多尺度分割融合网络包括主干网络、分类层、对齐模块和自适应多尺度分割融合模块；所述主干网络以残差网络ResNet-34为基础网络，删除ResNet-34中的全连接层将网络改造为全卷积神经网络的形式；使用带步长的卷积层代替ResNet-34中的池化层；将最后一个阶段的下采样提前到第一个阶段并缩减整个网络的通道数目；在最后一个阶段添加扩张率为2的扩张卷积；在ResNet的每个阶段的输出中添加一个分裂头，以获得每个阶段的输出；

将待处理图像送入所述主干网络进行特征提取，并输出多个尺度的特征图；

使用所述分类层对输出的各个尺度的特征图进行像素级分类，得到不同尺度的分割图；

使用所述对齐模块将所述不同尺度的分割图统一到相同的分辨率，得到相同大小的分割图；

将所述相同大小的分割图送入所述自适应多尺度分割融合模块，基于特定目标类别融合不同层次的分割上下文信息，得到融合的分割图；

使用卷积操作对融合的分割图进行一次细化，得到最终的分割结果。

进一步地，所述对齐模块使用基于引导上采样的方式将不同尺度大小的分割图调整到相同的尺寸。

进一步地，所述自适应多尺度分割融合模块，基于注意力机制，通过抽取全局特征以实现自适应权值计算，实现基于特定目标类别融合不同层次的分割上下文。

进一步地，所述自适应多尺度分割融合模块，基于注意力机制，通过抽取全局特征以实现自适应权值计算，实现基于特定目标类别融合不同层次的分割上下文，包括：