[发明专利]图像分割方法、装置、设备、存储介质

权利要求书

1.一种图像分割方法，其特征在于，所述方法包括：

编码器对获取的待处理图像进行编码处理，得到多层第一特征图，所述多层第一特征图包含不同尺度的第一特征；所述编码器包括顺序连接的至少两个编码层，每一所述编码层输出一层第一特征图，每一所述编码层的输入包括前层的输出结果或所述待处理图像；

解码器的每一解码层执行如下步骤：

对本层的前一层的处理结果进行上采样，得到上采样特征图；

将上采样特征图和匹配的第一特征图进行特征拼接，得到拼接后的特征图；

从所述拼接后的特征图中采样出多个第二特征和每一所述第二特征对应的参考特征集合；

利用多头注意力机制，确定每一所述第二特征和对应参考特征集合中每一参考特征在内容上和空间上的综合相关度；

将与每一所述第二特征的综合相关度最高的参考特征，确定为与对应第二特征匹配的目标参考特征；

将每一所述第二特征和对应的目标参考特征进行融合处理，得到对应的第二更新特征；

根据每一所述第二更新特征，得到本层解码层的处理结果；

其中，所述解码器的末层解码层的处理结果为融合特征图；其中，所述多头注意力机制采用内容注意力算子和空间注意力算子来实现的；其中，所述解码器包括顺序连接的至少两个解码层，每一所述解码层采用所述内容注意力算子和所述空间注意力算子来实现的，每一所述解码层的输入包括前层的输出结果和尺度相一致的第一特征图；

分类器对所述融合特征图进行逐像素分类，得到所述待处理图像的图像分割结果。

2.根据权利要求1所述的方法，其特征在于，所述利用多头注意力机制，确定每一所述第二特征和对应参考特征集合中每一参考特征在内容上和空间上的综合相关度，包括：

对每一所述第二特征和每一所述参考特征作为待匹配对；

针对每一待匹配对，执行以下步骤：

利用内容注意力算子，确定所述第二特征和所述参考特征在内容上的第一相关度；

根据所述第一相关度，确定所述参考特征的第一权重；

利用几何注意力算子，确定所述参考特征的第二权重；

根据所述第一权重和所述第二权重，确定所述参考特征的综合权重；

根据所述综合权重，确定所述第二特征和所述参考特征在内容上和空间上的综合相关度。

3.根据权利要求2所述的方法，其特征在于，所述利用内容注意力算子，确定所述第二特征和所述参考特征在内容上的第一相关度，包括：

利用内容注意力算子，确定所述第二特征对应的第一特征向量和所述参考特征对应的第二特征向量；

确定所述第一特征向量和所述第二特征向量之间的点积；

根据所述点积，确定所述第一特征向量和所述第二特征向量在内容上的第一相关度。

4.根据权利要求1所述的方法，其特征在于，所述将每一所述第二特征和对应的目标参考特征进行融合处理，得到对应的第二更新特征，包括：

对每一所述第二特征与对应的目标参考特征作为待融合对；

针对每一待融合对，执行以下步骤：

对所述目标参考特征进行变换，得到目标变换特征；

根据归一化因子、所述第二特征和所述目标参考特征的综合相关度、所述目标变换特征，确定第二更新特征，所述第二更新特征为更新后的所述第二特征。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

根据归一化因子、所述第二更新特征和所述目标参考特征的综合相关度、所述目标变换特征，确定第二再更新特征，所述第二再更新特征为更新后的所述第二更新特征；

对应地，所述根据每一所述第二更新特征，得到本层解码层的处理结果，包括：

根据每一所述第二再更新特征，得到本层解码层的处理结果。