[发明专利]一种基于多尺度边缘注意力的全景分割方法

权利要求书

1.一种基于多尺度边缘注意力的全景分割方法，其特征是，包括步骤如下：

步骤1、在全景分割网络的基础上添加多尺度边缘注意力模块构造出基于多尺度边缘注意力的全景分割模型；

步骤2、将原始训练图像送入到步骤1所构建的基于多尺度边缘注意力的全景分割模型中对模型进行训练，得到训练好的最终基于多尺度边缘注意力的全景分割模型；其中基于多尺度边缘注意力的全景分割模型的每一次的迭代训练的过程如下：

步骤2.1、将上一次迭代训练所得到的基于多尺度边缘注意力的全景分割模型视为当前模型；

步骤2.2、利用当前模型的全景分割网络对原始训练图像进行全景分割得到当前模型的预全景分割掩膜；

步骤2.3、利用当前模型的多尺度边缘注意力模块先对预全景分割掩膜和原始训练图像分别进行多尺度边缘检测，得到预全景分割轮廓和边缘注意力轮廓；再利用边缘注意力轮廓对预全景分割轮廓进行多尺度边缘修正，得到当前模型的物体修正轮廓；

步骤2.4、将基于步骤2.2所得的当前模型的全景分割掩膜所计算的全景分割网络的损失函数L^*作为基础项，并将基于2.3所得的当前模型的物体修正轮廓所计算的多尺度边缘注意力模块的损失函数L_edge作为新增项，得到当前模型的损失函数L：

L＝L^*+L_edge

L^*＝L_cls+L_box+L_mask

式中：L_cls表示预测框的分类损失；L_box表示预测框的回归损失；L_mask表示Mask部分的损失；edge1_(i,j)表示物体修正轮廓的第i行第j列的像素值，edge2_(i,j)表示给定的原始训练图像的标签轮廓的第i行第j列的像素值，i∈[1,n],j∈[1,m]，m表示图像的长度即图像横向方向上的像素点数，n表示图像的高度即图像纵向方向上的像素点数；

步骤2.5、判断当前模型的损失函数是否收敛或迭代训练次数是否达到迭代阈值：如果是，则当前模型即为最终基于多尺度边缘注意力的全景分割模型；否则，通过极小化损失函数对当前模型的优化参数进行优化，并返回步骤2.1；

步骤3、将待分割的图像送入到步骤2所得到的最终基于多尺度边缘注意力的全景分割模型中，完成待分割的图像基于多尺度边缘注意力的全景分割。

2.根据权利要求1所述的一种基于多尺度边缘注意力的全景分割方法，其特征是，步骤2.2的具体过程如下：

步骤2.2.1、将输入的原始训练图像送入FPN特征提取网络得到图像的多维度特征融合图；

步骤2.2.2、将多维度特征融合图分别送入实例分割分支和语义分割分支中；在实例分割分支中，先找出多维度特征融合图的感兴趣区域，再对感兴趣区域进行像素校正，后对像素校正的感兴趣区域使用特征金字塔框架进行预测不同的实例所属分类，得到实例分割掩膜；在语义分割分支中，通过对多维度特征融合图的每个像素进行细粒度的推理，得到语义掩膜；

步骤2.2.3、将实例分割掩膜和语义掩膜进行融合后得到全景分割掩膜。