[发明专利]一种两阶段的零样本图像语义分割方法

说明书

本发明公开了一种两阶段的零样本图像语义分割方法，分为类别无关前背景图像分割模块与零样本目标分类模块两部分。类别无关前背景图像分割采用基于Mask‑RCNN的两阶段图像分割框架，并辅助内外边缘判别器，边缘自监督模块提升图像前背景分割的精度。零样本目标分类模块基于CADA‑VAE算法，并辅助DeepInversion反向生成视觉特征减小视觉特征与语义特征的域距离，提升零样本目标分类的精度。零样本目标分割方法在已知类上训练后可在未知类目标上也得到较好的图像分割性能，大大减少了样本的需求以及繁复的人工标注，降低医学等专业领域的标注成本，大幅提升没有样本以及样本较少场景下图像语义分割任务的性能。

技术领域

本发明涉及深度学习图像分割领域，尤其是涉及一种两阶段的零样本图像语义分割(Zero Shot Semantic Segmentation,ZSSS)方法。

背景技术

随着计算机视觉和图像技术的发展，深度学习以其高性能的优势广泛应用在了图像分类，图像检测，图像分割等各个领域，并迅速达到了各个领域的领先水平。图像语义分割作为基本的计算机视觉问题(图像分类，物体识别检测，语义分割)，广泛应用于自动驾驶，医学成像和工业检测等领域。而当前的全监督语义分割方法严重依赖于密集型像素级别的语义标签。而获取像素级别的语义标签需要昂贵的人力与时间成本，特别在医学图像等专业领域标注门槛高带来的标注成本更是不可预估。为降低标注成本，弱标签(如图像级别标签、目标框级别标签)、个别标签(如小样本学习)算法引起了广泛的关注与研究。而对于更加具有应用意义同时更具挑战性的零样本分割问题目前还没有得到广泛的关注与研究。

当前零样本目标分割方法均基于一阶段的Deeplab系列预测像素级别的类别语义信息。而此类方法存在两个主要的问题：1)未利用目标的整体信息，故物品的不同的部分会预测成不同的类别。2)像素级别的预测造成预测掩码存在较多噪点，即背景上可能会预测出较多不规则的噪点区域。

发明内容

为解决现有技术的不足，实现提升零样本目标分割方法的性能的目的，本发明采用如下的技术方案：

一种两阶段的零样本图像语义分割方法，包括如下步骤：

S1，基于Mask-RCNN的两阶段类别无关的前背景图像分割，基于Mask-RCNN的两阶段图像分割框架，将第二阶段的分类分支改为仅区分前背景两类，图像经过RPN后，送入第二阶段进行前背景的分类、检测框的微调以及前景的分割，图像经过Mask-RCNN后得到类别无关的物体的前景检测框以及前景掩码，因分类分支不区分目标类别，可保证方法在已知类上训练后测试时也能得到未知类的检测框和前景掩码；

S2，基于CADA-VAE进行零样本目标分类，采用变分自编码器的方法首先分别进行视觉特征域与语义特征域的自动编解码，将视觉特征与语义特征转换到共同的隐变量特征空间，保证视觉特征与语义特征都能达到较高的重构精度，得到表征能力较强的隐变量特征，随后为保证视觉特征域与语义特征域的跨域对齐，通过加入跨域编解码监督，减小视觉特征域与语义特征域的域距离，使未知类可以高精度得通过语义特征与视觉特征联系起来，然后基于未知类语义特征转换的隐变量特征训练分类器，给定编码器E，解码器D，则交叉对齐的损失为：

其中，x表示输入的视觉特征或者语义特征，i、j表示不同的域。

进一步的，所述步骤S1中的Mask-RCNN的图像分割分支加入边缘自监督和内外边缘判别器模块，辅助图像前景分割。

进一步的，所述边缘自监督模块具体表现为平等性变换，即对输入图像进行仿射变换送入前背景分类网络得到图像分割结果，与对原输入图像的图像分割结果进行相同仿射变换得到的结果相同，该模块可有效消除分割结果的噪点并保证分割结果的一致性，前背景分类网络F_θ，仿射变换矩阵A，的权重矩阵w，则边缘自监督损失定义如下：