[发明专利]一种基于双网络协同分割模型的图像语义分割方法

说明书

本发明属于计算机视觉领域，具体涉及一种基于双网络协同分割模型的图像语义分割方法，包括：建立构建双网络协同分割模型，对于带标签数据采用全监督学习的方式进行模型的训练，对于无标签数据采跨网络相互学习的方法进行半监督学习进模型的训练，将待分割的图像输入训练好的双网络协同分割模型，得到分割结果；本发明基于标签空间和特征空间的相互互补学习，实现了对大量无标签数据的高效利用和开发，缓解了目前全监督深度学习模型训练需要高质量、高成本、极耗时的标签需求，在保证分割模型的性能时进一步让模型的训练成本大大降低，并能够部署于各种的智能系统，具有较高的实际应用价值。

技术领域

本发明属于计算机视觉领域，具体涉及一种基于双网络协同分割模型的图像语义分割方法。

背景技术

图像语义分割的目的是对图像中每个像素的语义类别进行分类。其作为一项基本的计算机视觉任务，在图像理解领域发挥着非常重要的作用，例如自动驾驶、医学成像和其他应用。近年来，在深度神经网络技术的快速发展、大规模数据集的可用性和高计算资源的推动下，全监督学习方法取得了显著的进展。然而，现有的完全监督方法依赖于大规模注释数据，特别是对于需要昂贵的像素注释的完全监督的语义分割方法。为了解决这一限制，半监督语义分割(只需要少量标记数据)最近引起了越来越多的关注。基于半监督学习的语义分割是一种在基于经典语义分割模型之上，同时采用半监督学习的方法解决问题的一种研究方法。其中采用的分割模型主要是基于深度学习的分割网络。与传统的监督学习语义分割不同的是，半监督方法能够同时利用在监督学习中无价值的无标记数据和带标记数据，让语义分割领域更加接近人类学习的方式。

当前最先进的半监督语义分割模型已经证明，为未标记图像的不同视图设计伪标签一致正则化和像素级对比正则化有利于提高模型性能。前一类工作通常利用不同的数据扩充、特征扰动和网络扰动来获得不同的视图。例如通过两个参数不同的网络来获得的不同视图，这两个网络的输出通过交叉伪监督在标签空间中对齐。后一类工作受益于为特征空间中的锚定特征设计有效的正负样本对。通常还需要仔细设计额外阳性/阴性样本的过滤机制。例如通过强制让学生模型和可以产生更稳定和更少噪声的教师模型，在投影特征空间中保持像素级对比正则化。

虽然基于半监督学习的自然图像语义分割取得了优异的成绩并展现出了巨大的潜力，但目前的工作仍有如下的几个有待解决的研究问题：

(1)自然图像类别不平衡问题。类别不平衡问题在实际应用中自然是普遍存在的。当训练数据高度不平衡时，大多数学习框架会表现出对多数类的偏向，在某些极端情况下，可能会完全忽略少数类，从而严重影响预测模型的效率。然而，为了处理半监督问题，通常假设训练数据集均匀分布在所有类别标签上。

(2)一致性学习中相互学习的难度不够导致模型耦合的问题。为了通过让模型能够在无标记图像的不同视图下能够产生稳定的预测来让模型能够在不带标签的数据上也能学习到有效的知识，设计获取不同视图的方法尤为重要。如果让产生稳定预测这个过程很简单将会导致模型因为退化学习不到知识，例如传统的自训练方法。

(3)伪标记的质量问题。伪标记质量可以直接决定半监督语义分割模型的性能，目前很多研究都尝试去解决这个问题，但是还并没有一种非常好的方案。产生这个问题的原因是当前的半监督学习的学习方式与全监督学习一致，前者通过在伪标签中进行学习，后者在手工注释的标签下学习。目前大多数的方法通过使用教师学生模型或者使用置信度过滤不可信伪标签的方法来缓解伪标签的质量问题。

(4)在深度学习方法中，模型学习的特征区别性与模型的性能有着密切的关系。最近，图像语义分割的领域，这个问题由于对比学习的成功吸引的大量研究者进行研究。利用对比学习不仅可以让模型在拟合带标记数据的情况之下还能更好的区分不同类别之间的不同。而且由于该问题还是处于初级的研究阶段，是一个半监督语义分割的未来研究趋势。

发明内容

为解决上述技术问题，本发明提出一种基于双网络协同分割模型的图像语义分割方法，包括：