[发明专利]一种基于多尺度边缘注意力的全景分割方法

说明书

本发明公开一种基于多尺度边缘注意力的全景分割方法，针对不同尺度的图片进行多尺度边缘检测引导，多尺度的边缘检测引导可以让每个尺度选出较优权重再进行融合得到效果更好的全景分割结果。基于多尺度的边缘注意力模块提取图片的边缘金字塔，更好地提取物体的深层边缘信息。特征金字塔深度参与到全景分割网络的学习中去，与全景分割原本的多维度特征进行多次互补融合，相互影响，不仅能提高全景分割的精度，也可以大幅度提高最终结果中的物体边缘信息识别。

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于多尺度边缘注意力的全景分割方法。

背景技术

全景分割是2018年何恺明团队提出的新概念，综合了语义分割和实例分割效果。计算机视觉领域提到的分割，指的是针对图中每一个像素，都确定其属于什么类别。语义分割指的是对图像中同类物体能够用同色掩膜标识出来，达到物体的分类，通常整幅图(包括前景和背景)都可以实现用掩膜来标识。而实例分割在此基础上对前景中单个个体，即使是相同种类的也用不同颜色的掩膜标识。全景分割在综合了以上两种分割的基础上，对于图像中的背景部分只做语义分割，而对于图像中物体部分就做实例分割，区分出每一个个体，达到了全景均参与分割的效果。

全景分割适用于目标识别、跟踪、自动驾驶、医学影像处理等各领域，是近年研究的热点。通过深度学习的方法对图像进行全景分割，最重要的是分割准确度的问题，比如分割边缘问题。在何恺明最新2020年顶会CVPR的一篇论文中提出，他用的类似图形学的渲染方式，在边缘部分不确定区域增加判定工作，使图像不会因为尺度变小，图像模糊而边缘被平滑掉，影响分割效果。此外，该方法采用传统图形学算法，网络没有一定的学习能力。虽然采用边缘检测结果去辅助超分辨率重建也是有相关应用，比如拉普拉斯金字塔在超分辨率重建方面的应用，但是由于超分辨率重建注重重建的是细节，用于辅助的边缘没有任何语义信息，即不用确定是边缘还是细节，所以这些边缘是没有权重概念的。也就是说，在传统图像分割任务中，物体边缘的分割往往不够精确，在分割结果中往往掺杂了许许多多细节信息无法过滤。

发明内容

本发明所要解决的是现有全景分割方法存在图像分割不够精确的问题，提供一种基于多尺度边缘注意力的全景分割方法。

为解决上述问题，本发明是通过以下技术方案实现的：

一种基于多尺度边缘注意力的全景分割方法，包括步骤如下：

步骤1、在全景分割网络的基础上添加多尺度边缘注意力模块构造出基于多尺度边缘注意力的全景分割模型；

步骤2、将原始训练图像送入到步骤1所构建的基于多尺度边缘注意力的全景分割模型中对模型进行训练，得到训练好的最终基于多尺度边缘注意力的全景分割模型；其中基于多尺度边缘注意力的全景分割模型的每一次的迭代训练的过程如下：

步骤2.1、将上一次迭代训练所得到的基于多尺度边缘注意力的全景分割模型视为当前模型；

步骤2.2、利用当前模型的全景分割网络对原始训练图像进行全景分割得到当前模型的预全景分割掩膜；

步骤2.3、利用当前模型的多尺度边缘注意力模块先对预全景分割掩膜和原始训练图像分别进行多尺度边缘检测，得到预全景分割轮廓和边缘注意力轮廓；再利用边缘注意力轮廓对预全景分割轮廓进行多尺度边缘修正，得到当前模型的物体修正轮廓；

步骤2.4、将基于步骤2.2所得的当前模型的全景分割掩膜所计算的全景分割网络的损失函数L^*作为基础项，并将基于2.3所得的当前模型的物体修正轮廓所计算的多尺度边缘注意力模块的损失函数L_edge作为新增项，得到当前模型的损失函数L：

L＝L^*+L_edge