[发明专利]一种基于空间逐点注意力机制的场景解析方法

权利要求书

1.一种基于逐点空间注意力机制的场景解析方法，其特征在于，步骤如下：

步骤(1)、推导空间逐点注意力机制公式；

将输入的空间特征图分成两个分支，即收集分支与分散分支，对特征提取模型公式进行推导，获得空间逐点注意力机制公式；

步骤(2)、在得到的两条分支中，每个分支通过1×1的卷积滤波器来降低通道数，以减小计算量；对每个分支的空间特征图再进行1×1的卷积滤波，用于自适应特征，得到自适应后的特征图H^c和H^d；每次使用1×1的卷积之后都进行批标准化并添加激活函数，提升网络的传播能力和表达能力；

步骤(3)、在收集分支上通过聚合注意力机制得到空间逐点注意力图A^c，在分散分支上通过分散注意力机制得到空间逐点注意力图A^d；

步骤(4)、将空间逐点注意力图A^c与收集分支的输入在通道维度上进行元素乘积，经过卷积滤波后得到空间特征图Z^c；同理，将空间逐点注意力图A^d与分散分支的输入在通道维度上进行元素乘积，经过卷积滤波后得到空间特征图Z^d；将Z^c和Z^d在通道维度上进行拼接并通过1×1的卷积滤波得到空间特征图并与原始输入空间特征图在通道维度上进行拼接，得到大小为原始输入空间特征图两倍的输出空间特征图；

步骤(5)、根据上述步骤构建空间逐点注意力机制模型，将空间逐点注意力机制模型应用到全卷积网络的任一阶段，完成图像分割精确度的提升。

2.根据权利要求1所述的一种基于逐点空间注意力机制的场景解析方法，其特征在于，步骤(1)推导空间逐点注意力机制公式，具体操作如下：

特征提取模型如下：

其中，z_i是位置i处新聚合的特征；x_i是输出特征图X在位置i处的特征表示，x_j是输出特征图X在位置j处的特征表示；包含了与位置i相关联的所有感兴趣的区域，Δ_ij为位置i和j的相对位置；F(x_i，x_j，Δ_ij)可以是相应操作的任意函数或学习参数，表示从j到i的信息流，随着i与j的相对位置变化而变化；N表示归一化；将方程(1)简化成如下的形式：

其中是一组关于特定位置的函数，模拟了从位置j到位置i的信息流；特征图中的所有位置为Ω(i)；函数同时接受源信息和目标信息作为输入；当特征图中有很多位置时，组合的数量(x_i，x_j)是非常大的，因此对公式(2)简化并作了近似；

首先，化简函数为：

在这个近似中，从j到i的信息流只与目标位置i的语义特征以及i和j的相对位置有关；

根据方程(3)，将方程(2)改写为

同理，简化函数为：

其中，从j到i的信息流只与源位置j的语义特征以及i和j的相对位置有关；

最后将解和简化为双向信息传播路径；将式(3)和式(5)结合得到：

形式上，将这种双向信息传播建模为

对于编码了其他位置的特征在多大程度上有助于预测，每个位置都从其他位置“收集”信息；对于预测了一个位置特征对其他位置特征的重要性，每个位置都向其他位置“分发”信息；这种双向信息流能够使网络学习到更加全面的特征；

空间注意力机制通过利用卷积层和自适应的预测整个特征图上的信息流；和均可以视为集合特征x_j的预测注意力值；进一步将式(7)改写为：

将收集分支得到的空间逐点注意力图记为A^c，将分散分支得到的空间逐点注意力图记为A^d；其中，和分别表示在空间逐点注意力图A^c和A^d的分支上的预测注意力值。