[发明专利]一种轻量级瓶颈注意力机制的深度学习方法

说明书

本发明公开了一种轻量级瓶颈注意力机制的深度学习方法，该注意力机制分成通道注意力分支和空间注意力分支；通道注意力分支通过全局平均池化和最大值池化获取中间特征图的空间信息，卷积聚合以该通道为中心的左右邻域内的k个通道的信息，将得到的两个特征图按元素相加，生成通道注意力；空间注意力分支使用卷积进行降维，通过两个的空洞卷积进行上下文获取，最后使用卷积将通道数压缩到一维，生成空间注意力；融合两个分支注意力，先将通道注意力按空间的两个维度广播扩充，然后将空间注意力按通道维度广播扩充，将扩充后的两个注意力分支按元素相加，并通过Sigmoid函数运算，生成轻量级瓶颈注意力。本发明计算代价小、模型学习能力强。

技术领域

本发明涉及注意力机制学习技术领域，具体涉及一种轻量级瓶颈注意力机制的深度学习方法。

背景技术

近几年卷积神经网络(Convolutional neural networks，CNN)快速地推动着计算机视觉领域的发展，其在图像分类、目标检测和语义分割等任务中展现着强大的性能。为了进一步增强CNN的特征表达能力，最近的研究主要聚焦在网络模型的三个重要因素：网络深度、网络宽度和网络基数。

除了上述三个因素之外，最近几年许多研究学者将注意力模块融入到卷积模块中，证明了注意力模块在对网络的特征表达能力改进方面具有巨大的潜力。

注意力模块从不同的角度提升了CNN的性能，但同时也给网络增加了开销。以目前使用广泛的SE(Squeeze-Excitation)和BAM(Bottleneck Attention Module)为例，它们通过全连接层生成通道注意力，其参数量和特征图的通道数平方成正相关，因此，融入注意模块到网络模型中的开销也很巨大。

综上，已有的注意力机制在融入到其他网络模型中会大大增加该模型的开销，目前亟待需要降低注意力机制的开销。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种轻量级瓶颈注意力机制的深度学习方法。

本发明的目的可以通过采取如下技术方案达到：

一种轻量级瓶颈注意力机制的深度学习方法，该轻量级瓶颈注意力机制用于嵌入完成图像分类、目标检测和语义分割任务的卷积神经网络，实现图像分类、目标检测和语义分割，所述深度学习方法包括以下步骤：

S1、将前一层卷积神经网络输出的特征图F_in∈R^C×H×W输入轻量级瓶颈注意力机制，其中，C表示特征图通道的数量，H和W为特征图的高和宽，上述输出特征图由分类图像、目标检测图像、原始语义数据输入卷积神经网络生成，所述轻量级瓶颈注意力机制包括两个平行的通道注意力分支、空间注意力分支；

S2、所述输出特征图输入通道注意力分支，通过全局平均池化和最大值池化获取中间特征图的空间信息，后使用一维卷积聚合以该通道为中心的左右邻域内的k个通道的信息，将卷积后得到的两个特征图按元素相加，生成通道注意力M_c(F)∈R^C×1×1；

S3、所述输出特征图输入空间注意力分支，先使用1×1的卷积进行降维，后使用两个3×3的空洞卷积进行上下文获取，最后使用1×1卷积将通道数压缩到一维，生成空间注意力M_s(F)∈R^C×H×W；

S4、融合通道注意力M_c(F)和空间注意力M_s(F)，先将通道注意力M_c(F)按空间的两个维度广播扩充成满足C×H×W的维度，然后将空间注意力M_s(F)按通道维度广播扩充成满足C×H×W的维度，最后将扩充后的两个分支按元素相加，并通过Sigmoid函数运算，最后生成轻量级瓶颈注意力F_out∈R^C×H×W，该轻量级瓶颈注意力F_out用于实现图像分类、目标检测和语义分割。