[发明专利]一种基于多任务学习的参数自适应全景分割方法

说明书

本发明涉及一种基于多任务学习的参数自适应调节的全景分割方法，包括：可提取图像前景对象信息的基于单阶段检测网络的实例分割分支网络设计；可提取图像背景语义信息的基于全卷积神经网络的语义分割分支设计；以两分支结果为先验信息，通过启发式方法进行结果聚合的端到端全景分割网络设计；以及基于多任务学习思想，设计可根据训练情况自适应调节参数改变训练权重的损失函数。本发明可以根据训练中损失函数的变化情况作为先验知识对全景分割子分支训练权重进行自适应调节，提高模型表现，完成全景分割任务。

技术领域

本发明涉及图像分割技术领域，尤其涉及一种基于多任务学习的参数自适应全景分割方法。

背景技术

在计算机视觉领域，全景分割是一个新颖且重要的研究问题，深度学习作为目前主流的机器学习研究方法，在全景分割领域得到了广泛应用。全景分割的基本原则是将被分割的图像中每一个像素点的类别信息识别出来，以让计算机理解图像。这就意味着全景分割问题所带来的挑战：前景对象的定位与分类、背景像素信息的分类以及边界信息冲突解决。要让计算机理解一张所给定的图像，首先要做的便是将前景对象的位置给确定出来，再根据所检测出的热点区域像素的深层语义去确定前景对象的类别，这样一方面是将降低训练神经网络时的计算资源，另一方面可以提升处理稠密对象时的网络表现；其次是对背景信息的分类，不同于前景对象，背景信息一般缺少明确边界，且缺少规则外形等先验信息，所以并不适用于先检测再分割的方法；最后是对于冲突信息的处理，前景对象与背景信息在边界处常会存在分类置信度相近的问题，此时如何处理好信息的冲突问题往往决定着网络最终的准确度。

我们基于全景分割网络的基本结构将全景分割网络分为单阶段全景分割网络与两阶段全景分割网络这两类。基于单阶段分割网络的全景分割网络处理速度更快，实时响应能力强，更能满足部署在智能终端以及实时处理复杂现实情况的要求。基于单阶段分割网络的全景分割网络在准确性上更好，能够达到更高的准确性要求，但是响应速度少要比前者慢，更适合理想情况下的需求。

现有技术存在以下问题。第一，没有利用分支之间的任务相似性加强信息交流，网络表现力低。第二，训练过程中各分支权重设置为固定值，不能根据训练情况自适应调节。第三，在处理信息冲突时对小物体以及被覆盖物体不友好。

发明内容

为此，本发明提供一种基于多任务学习的参数自适应全景分割方法，用以克服现有技术中分支之间的任务相似性加强信息交流不强导致网络表现力低的问题。

为实现上述目的，本发明提供一种基于多任务学习的参数自适应全景分割方法，所述方法包括：

对输入的图像进行特征提取以获取其深层语义信息与特征图并通过多尺度融合增强全景分割网络对图像信息的提取能力；

利用单阶段检测网络以获取图像的前景对象位置与类别信息，通过基于检测网络实现的实例分割分支对图像进行多尺度融合，实现前景对象逐像素分割的信息获取；

以所述获取的前景对象信息为先验信息，通过全景分割网络中的语义分割分支确定背景的后验概率，通过基于先验信息的分割结果引导将两分支结果进行聚合，得到图像信息的全景分割结果；

以基于多任务学习的思想，对全景分割的目标损失函数进行设计，使训练中各分支的训练情况作为先验信息，动态调整各模块在训练中所占的权重，实现参数自适应调节的动态调整训练，增强网络准确度和鲁棒性。

进一步地，所述将输入图像通过实例分割分支获取前景对象先验信息包括：

使用特征提取网络VGG-16获取图像深层语义信息及特征图；

将所述获取的特征信息输入单阶段检测网络，获取候选框，并通过非最大值抑制，获取前景对象高置信度位置与类别；

将所述特征图通过多尺度融合，对图像中对象信息进行增强，并通过反卷积操作上采样，生成前景对象掩码，并覆盖于所述检测网络所生成的候选框中；