[发明专利]一种基于空间逐点注意力机制的场景解析方法

说明书

本发明提供一种基于逐点空间注意力机制的场景解析方法。本发明方法以一种自适应的方式灵活的聚合长距离的上下文信息，设计了双向信息传播路径以全面理解复杂场景，每个位置从所有其他位置收集信息，以帮助预测自身，反之亦然，每个位置的信息可以分布在全局，以帮助其他位置进行预测。最后，将双向聚合的上下文信息与局部特征融合，形成复杂场景的最终表示。本发明方法可以全自动的实现对复杂场景的精准分割，相比于以往的全卷积分割网络，空间逐点注意力网络可以同时聚合局部空间信息以及长距离的上下文信息，从而大大提升场景解析的精度。

技术领域

本发明涉及空间逐点注意力，双向信息流，场景解析，语义分割，具体来说涉及在进行图像的语义分割时，利用空间逐点注意力机制来自适应的聚合空间中不同位置的信息，从而实现更精准的语义分割的方法。

背景技术

语义分割，是计算机视觉中一个基本的、极具挑战性的问题。它是实现视觉场景理解的关键步骤，在自动驾驶和机器人导航等应用中起着至关重要的作用。随着卷积神经网络的出现，语义分割实现了突破性的进展。但是由于卷积神经网络的感受野仅仅局限于局部区域，这使得利用全卷积网络对场景进行解析时收到了很大了限制。为了解决这个问题，膨胀卷积被提了出来。膨胀卷积在不降低图像分辨率的基础上聚合图像中不同尺寸的上下文信息，并且扩大了感受野的范围。此外，全局池化操作也可以聚合空间信息。然而，这些方法以一种非自适应的方法利用了所有图像区域的信息相关性，却忽略了局部表示的差异性以及不同类别的信息相关性，对特征图上的每个位置都一视同仁。

发明内容

针对现有技术中存在的不足，本发明提出了一种基于逐点空间注意力机制的场景解析方法，它可以以一种自适应的方式灵活的聚合长距离的上下文信息。特征图中的每个位置通过自适应预测注意力图与所有其他位置相连接，从而获取附近和远处的各种信息。此外，还设计了双向信息传播路径以全面理解复杂场景。每个位置从所有其他位置收集信息，以帮助预测自身，反之亦然，每个位置的信息可以分布在全局，以帮助其他位置进行预测。最后，将双向聚合的上下文信息与局部特征融合，形成复杂场景的最终表示。

一种基于逐点空间注意力机制的场景解析方法，步骤如下：

步骤(1)、推导空间逐点注意力机制公式。

将输入的空间特征图分成两个分支，即收集分支与分散分支，对特征提取模型公式进行推导，获得空间逐点注意力机制公式。

步骤(2)、在得到的两条分支中，每个分支通过1×1的卷积滤波器来降低通道数，以减小计算量。对每个分支的空间特征图再进行1×1的卷积滤波，用于自适应特征，得到自适应后的特征图H^c和H^d。每次使用1×1的卷积之后都进行批标准化并添加激活函数，提升网络的传播能力和表达能力。

步骤(3)、在收集分支上通过聚合注意力机制得到空间逐点注意力图A^c，在分散分支上通过分散注意力机制得到空间逐点注意力图A^d。

步骤(4)、将空间逐点注意力图A^c与收集分支的输入在通道维度上进行元素乘积，经过卷积滤波后得到空间特征图Z^c。同理，将空间逐点注意力图A^d与分散分支的输入在通道维度上进行元素乘积，经过卷积滤波后得到空间特征图Z^d。将Z^c和Z^d在通道维度上进行拼接并通过1×1的卷积滤波得到空间特征图并与原始输入空间特征图在通道维度上进行拼接，得到大小为原始输入空间特征图两倍的输出空间特征图。

步骤(5)、根据上述步骤构建空间逐点注意力机制模型，将空间逐点注意力机制模型应用到全卷积网络的任一阶段，完成图像分割精确度的提升。