[发明专利]基于空洞残差和注意力机制的全卷积语义分割系统及方法

说明书

本发明公开了一种基于空洞残差和注意力机制的全卷积快速语义分割方法，当检测到输入图像时，首先对图像进行预处理，提取特征信息，然后进行不同维度的池化；再提取边缘特征进行强化，并结合注意力机制，处理低层高分辨率低语义特征图像，融合处理后的低层高分辨率低语义特征图像和高层低分辨率高语义特征图像；此外，融合边缘强化模块输出、卷积输出、注意力机制模块输出；最后，进行反卷积还原，得到准确度高，速度快的语义分割结果。本发明可准确、快速完成语义分割功能，具有较高的工程价值、应用价值。

技术领域

本发明涉及一种基于空洞残差和注意力机制的全卷积语义分割方法，属于计算机视觉领域。

技术背景

语义分割技术是计算机视觉领域不可或缺的一部分，在智能驾驶、精准农业等领域应用广泛。以语义分割为基础的比亚迪、特斯拉等品牌电动汽车，可以实现自动车道保持、自动变更车道等功能；农业无人机可以根据语义分割结果进行实时除草、喷洒农药等行动。

分割精度和模型推理速度是衡量语义分割技术优劣的关键，近年来，实时场景下对网络模型的实时性需求不断增加，使一些快速语义分割算法逐渐兴起，这些算法通过减少网络层数目、裁剪输入图像尺寸等方式来缩短模型架构推理时间，以达到实时性需求，虽然提高了模型推理的效率，但是分割精度往往不高。包括全卷积神经网络(FullyConvolutional Neural Network,FCN)在内的传统网络模型结构对图像的一些边缘轮廓部分识别相对模糊，像素间的空间未能紧密连接，导致分割目标整体连贯性较差，分割结果不够精细，无法同时保证较高的分割精度和模型推理速度。如何在提高模型推理速度的同时，保障分割精度，是解决语义分割技术在实时场景中应用的问题关键。

发明内容

本发明所要解决的技术问题是：在实时场景下，语义分割技术的神经网络模型有的无法满足实时性要求，有的不能实现对图像的准确、快速分割，在精准度以及实际测试速率两方面难以做到平衡。

为解决上述技术问题，本发明提出基于空洞残差和注意力机制的全卷积语义分割系统，包括以下功能模块：

图像预处理卷积模块：读取原始图像后，进行一层卷积处理，通过第一层卷积(conv1)提取图像中物体形状特征；

金字塔池化模块：对预处理后的图像使用金字塔池化模型进行金字塔池化；把图像分成多个子区域，每个子区域使用不同层级金字塔池化，在金字塔池化模块每一个层级后引入一个1×1的二层卷积实现通道降维；通过对应倍率的双线性插值恢复图像分辨率，得到恢复特征图像C2；

边缘强化模块：对恢复特征图像进行三层卷积处理，通过残差块结构实现边缘强化(BM)，记作边缘强化模块BM1；对三层卷积处理结果进行四层卷积处理，同样根据残差块结构实现边缘强化，记作边缘强化模块BM2；

注意力机制模块：将恢复特征图像C2和边缘强化模块BM2输出映射分别作为低层高分辨率低语义特征和高层低分辨率高语义特征输入“注意力机制”(Attentionmechanism，AM)融合语义特征；

多特征融合模块：使用多特征融合模块(Feature gathering module,FGM)融合四层卷积处理结果、边缘强化模块BM1处理结果、注意力机制处理结果进行输出；

反卷积还原模块：使用由三个反卷积层级联而成的反卷积还原(DCM)模块，将融合结果还原至原始输入的分辨率大小。

一种基于空洞残差和注意力机制的全卷积语义分割方法，包括以下步骤：

1)图像预处理：读取原始图像后，进行一层卷积处理，通过第一层卷积(conv1)提取图像中物体形状特征；

2)获取不同尺度的特征：将预处理后的图像分成数个子区域，此例为4个，使用金字塔池化模型(PPM)进行金字塔池化；

3)通道降维：在金字塔池化模块每一个层级后引入一个1×1的二层卷积实现通道降维；