[发明专利]基于注意力机制指导特征融合的图像语义分割方法

说明书

本发明公开一种基于注意力机制指导特征融合的图像语义分割方法，包括如下步骤：(10)编码器基础网络构建：使用改进后的ResNet‑101生成一系列由高分辨率低语义到低分辨率高语义变化的特征；(20)解码器特征融合模块构建：采用基于三层卷积操作的金字塔结构模块，提取强一致性约束的高层语义，再向低层阶段特征逐层加权融合，得到初步分割热图；(30)辅助损失函数构建：向解码阶段的每个融合输出追加辅助监督，再与热图上采样后的主监督损失叠加，强化模型的分层训练，得到语义分割图。本发明的基于注意力机制指导特征融合的图像语义分割方法，准确性高、边界轮廓清楚。

技术领域

本发明属于静态图像识别技术领域，特别是一种准确性高、边界轮廓清楚的基于注意力机制指导特征融合的图像语义分割方法。

背景技术

语义分割即像素级别的图像理解，是计算机视觉领域的重要基石之一，有着非常广泛的应用场景。其通过细粒度分割的方式，赋予了机器将视觉画面的不同区域以像素级别剥离开来的能力。语义分割将图像中属于同一目标的像素区域划分到一起，从而扩展其应用领域。

语义分割在进行像素级预测的同时将对象分类和目标定位两个问题结合在一起解决，如何在高层抽象的对象分类和低层精确的目标定位这两个相互约束的问题之间取得平衡是当前语义分割方法所要面对的核心问题。语义分割方法可以大致分为两类。第一种，通过人工提取特征生成图像中各个对象的语义，这种方法往往需要细致的特征工程手段，再输入分类器进行像素级别的分类。第二种是基于深度学习方法，通过构建端到端系统将特征提取与分类器合在一起从而直接为每个像素分配一个语义标签。

大多数传统的方法都是依赖于手工提取特征并与分类器相结合的机器学习方法，如 Shotton等人的Boost方法，Johnson等人的随机森林，Soatto等人的支持向量机。这些方法通过整合来自上下文和结构化预测技术的丰富信息取得了实质性的进步。然而，由于手工提取的特征表达能力受限的影响，基于传统机器学习方法的图像语义分割系统性能逐渐饱和，无法突破瓶颈，其在分割准确率性能上仍有很大的提升空间。

近些年，深度学习革命让相关领域发生了翻天覆地的变化，包括语义分割在内的许多计算机视觉问题都开始使用深层架构来解决。基于深度卷积神经网络提出的全卷积网络方法，以卷积层代替全连接层构造全卷积网络应用到语义分割上，生成了密集的逐像素标记输出，获得了更高的分割精度。Zhao等人提出金字塔场景解析网络方法，利用金字塔池化模块，通过不同区域的上下文聚合来利用全局上下文信息，利用全局先验有效地产生了高质量的分割结果。Li等人通过先对浅层阶段区域进行分类，并将更深层次的阶段重点放在少数困难区域上，以进行自适应和针对困难样例识别的学习，最终改善了分割性能。Lin等人提出了一种通用的多路径优化网络方法，明确利用下采样过程中的所有可用信息，以实现使用远程残留连接的高分辨率像素级预测。

然而，现有技术存就语义分割效果而言，仍存在两个主要问题：

1、在基于深度全卷积网络的图像语义分割中，使用卷积网络进行特征提取时，由于卷积、最大池化和下采样操作的重复组合引起特征分辨率逐渐降低，导致上下文信息丢失，使得导致分割结果中出现外观复杂目标的局部区域误识别以及多尺度对象中小目标识别错误等语义不一致；

2、卷积网络的成功部分归因于其对图像局部变换的内在不变性，该不变性增强了网络学习分层抽象的能力，这恰恰是对象分类等高层视觉任务所需的。而语义分割在解决分类问题的同时还需要面对分割中定位对象的边界轮廓等空间细节问题，单纯的像素分类任务经常出现分割结果中对象的边界轮廓模糊不清的现象。

发明内容

本发明的目的在于提供一种基于注意力机制指导特征融合的图像语义分割方法，准确性高、边界轮廓清楚。

实现本发明目的的技术方案为：

一种基于注意力机制指导特征融合的图像语义分割方法，包括如下步骤：