[发明专利]一种语义分割方法及相关设备

说明书

本申请提供了一种语义分割方法及相关设备，通过可变形自注意力机制减少语义分割时的计算复杂度，减少等待时长，并增加语义分割的精度。该方法包括：将目标图像输入深度卷积网络得到第一特征图；将所述第一特征图进行通道缩减操作，以得到第二特征图；确定与目标查询点语义相关的M个正方形区域以及目标正方形区域；将所述M个正方形区域的特征以及所述目标正方形区域的特征进行聚合，得到聚合特征；根据所述第一特征图以及所述聚合特征确定输出特征；将融合后的所述输出特征进行语义分割，得到与所述目标图像对应的语义分割图。

技术领域

本申请涉及计算机视觉领域，尤其涉及一种语义分割方法及相关设备。

背景技术

自注意机制将特征图中每个查询点的响应计算为所有位置特征的加权平均。这些权重由所有元素之间的成对“关系”(相关度)去衡量，也即特征越相似，则用于特征聚合的权重越大。它在时间和空间的复杂度都是O(CH²W²)，因为需要去描述每个像素对的“关系”，其中H×W是特征图的空间尺度，C为特征图的通道数。这样的机制是有助于语义分割任务去执行更准确的像素分类，可以帮助每一个像素获得密集的上下文信息。

目前主要采用两种基于注意力机制的上下文聚合方法，对于每个查询点查询点初始的自注意力机制(Self-attention)生成H×W的注意力图，而十字交叉注意力模块(Criss-Crossattention)生成只有(H+W+1)的稀疏注意力图。经过重复的十字交叉注意力操作，最终输出特征图中的每个查询点查询点可以从所有像素捕获长程相关性。

因为自注意力机制的时间复杂度高，因此，有一些方法被提出去降低它的计算复杂度。十字交叉网络(Criss-Cross NET，CCNET)提出了十字交叉自注意(Criss-CrossAttention，CCA)模块，每个查询点都与同行同列的其他位置相连去预测一个稀疏的注意力图。每个查询点对应的注意力图只有H+W-1个权重。而初始的自注意力机制下的每个查询点的注意力图的权重是H×W个。此外，为了捕获更丰富的语义，通过循环十字交叉注意力模块(Recurrent Criss-Cross Attention，RCCA)，它由两个连续的CCA模块组成，从而将注意力图的权重的个数由H²W²减少为2(H+W-1)个。

RCCA堆叠两个CCA模块以获得全局的空间依赖，然而，其理论缺陷导致了它训练不稳定。也就是说，尽管运行两次CCA模块可以提供密集的连接和梯度路径。然而，当查询点和第二个CCA模块中的Key point语义相关但与第一个CCA模块中的“转折点”不相关时，它们之间的相关性计算极有可能被破坏。因此，当将RCCA模块应用于具有空洞卷积的全卷积网络(Fully Convolutional Networks，FCN)时，其性能并不稳定。

发明内容

本申请提供了一种语义分割方法及相关设备，减少语义分割时的计算复杂度，增加语义分割的精度。

本申请第一方面提供了一种语义分割方法，包括：

将目标图像输入深度卷积网络得到第一特征图，其中，所述深度卷积网络通过全卷积的方式构建，所述目标图像为待语义分割的图像；

将所述第一特征图进行通道缩减操作，以得到第二特征图，所述第二特征图的通道数小于所述第一特征图的通道数；

确定与目标查询点语义相关的M个正方形区域以及目标正方形区域，所述目标查询点为所述第二特征图对应的查询点中的任意一个查询点，所述M个正方形区域中每个正方形区域的边长为L，所述目标区域为以所述目标查询点为中心，边长为L的正方形区域，其中，M和L的取值需要满足(M+1)×L²＜H×W，且L为奇数，H为所述目标图像的高度，W为所述目标图像的宽度；

将所述M个正方形区域的特征以及所述目标正方形区域的特征进行聚合，得到聚合特征；