[发明专利]基于超像素的注意力机制生成语义分割方法

权利要求书

1.一种基于超像素的注意力机制生成语义分割方法，其特征是，每个像素与其他所有的超像素之间计算相似度；通过空间注意力编码和通道注意力机制编码，将两种编码结果融合最终生成语义分割。

2.如权利要求1所述的基于超像素的注意力机制生成语义分割方法，其特征是，具体步骤如下：

步骤1:特征的提取：通过采用残差网络ResNet-101来进行特征的提取；该网络一共101层网络结构，其中在1，2，7层中采用步长为2的卷积或池化结构，所以最后得到的特征图的大小为原图的1/8倍；

步骤2:嵌入超像素：使用简单线性聚类算法slic的方法来产生超像素，然后把超像素层嵌入到残差网络ResNet网络结构之后，通过超像素层对特征图进行池化来获取超像素特征，然后将池化后的超像素特征嵌入到注意力机制网络中；

步骤3:注意力机制：注意力机制分为空间注意力机制和通道注意力机制；空间注意力机制通过计算每一个像素向量与其他所有位置的特征向量之间的相似度来获取全局的上下文信息；通道注意力机制通过计算通道间的相似度，来获取通道间的语义信息；然后将空间注意力机制的结果和通道注意力机制的结果相融合，最终得到语义分割的结果。

3.如权利要求1所述的基于超像素的注意力机制生成语义分割方法，其特征是，步骤2中，嵌入超像素：使用简单线性聚类算法slic产生超像素，然后把超像素层嵌入到ResNet网络结构之后，通过超像素层对特征图进行池化，然后得到每个超像素对应的特征向量特征向量是超像素对应的区域进行的平均池化：

其中表示在第i个超像素区域中第k个特征向量，S_i表示第i个超像素区域中的像素的个数；所以该池化操作被称为超像素池化；

步骤3中：

空间注意力机制：

首先通过ResNet-101网络获取的特征图A∈R^C×H×W,然后把A输入到三个1×1的卷积层中来获取三个新的特征图B，C,D。其中{B，C，D}∈R^C×H×W；然后转换它们为R^C×N，其中N＝H×W；把B和D输入到超像素池化层分别得到ν和θ，其中{ν，θ}∈R^K×C，K表示每张图征图上的超像素的数量；然后通过应用一个归一化softmax层来计算一个空间注意力矩阵图S∈R^N×K：

其中ν_i表示第i个超像素经过公式1池化后得到的特征，而C_j表示特征图中第j个像素；

S_ij表示第j像素与第i个超像素之间的相似度；通过公式2得到一个注意力图S，S的大小为R^N×K，其中N表示特征图中像素的个数，K表示特征图中的超像素的个数，所以S就表示每一个像素与每一个超像素池化后的特征的相似度；同时把计算得到的相似度对该特征向量进行加权，加到对应的像素位置，这样每个像素向量都能通过加权得到所有空间的语义信息：

其中α是一个初始化为0且用于学习的权重参数；最终得到的输出E聚集了全局的语义信息；

通道注意力机制：

首先输出一个初始的特征图A∈R^C×H×W作为通道注意力模块的输入特征，经过超像素池化层得到ν∈R^C×K，然后通过执行一个矩阵相乘来计算一个通道注意力机制X∈R^C×C：

其中x_ij表示ν中第i个通道和第j个通道之间的相似度；除此之外，把计算的通道间的相似度加权到相应的通道上，然后累加到每一个局部通道中，这样每一个通道都能获得其他通道的信息，最后的输出D∈R^C×H×W：

由公式(3)得到的空间注意力特征图和公式(5)得到的通道注意力特征图进行融合，最终得到语义分割图。