[发明专利]基于逐步对抗学习的半监督图像实例分割方法

摘要

本发明公开了一种基于逐步对抗学习的半监督图像实例分割方法，包括步骤：1、构建Mask R‑CNN实例分割模型；2、基于DCGAN训练Mask R‑CNN中的FPN；3、采用标注数据对Mask R‑CNN中的其他模块进行初步训练；4、构建判别卷积网络，与Mask R‑CNN构成对抗学习网络，通过对抗训练，优化对抗学习网络的参数；5、将判别卷积网络的输出反馈至Mask R‑CNN，对实例分割模型进行再训练；6、利用实例分割模型对待分割图像进行分割。该方法利用仅有部分标注图像的样本集进行模型训练，减少了处理样本的工作量，且能够获得较高精确度的分割模型。

主权项

1.基于逐步对抗学习的半监督图像实例分割方法，其特征在于，包括如下步骤：(1)采集多幅待分割图像样本，对其中部分图像进行标注，得到标注数据集{X_l,Y_l}，其中X_l表示图像集合，Y_l表示掩码标注集合；未标注的样本构成未标注数据集X_u；构建实例分割模型，所述实例分割模型为Mask R‑CNN，其主干网络为特征金字塔网络FPN；所述Mask R‑CNN还包括区域生成网络、RolAlign、反卷积网络；所述FPN对输入图像进行特征提取并生成特征图，特征图输入到区域生成网络中，RolAlign对特征图以及区域生成网络的输出进行处理，处理结果输入到反卷积网络生成预测的掩码；(2)对实例分割模型中的FPN进行训练：构建深度卷积生成对抗网络，Mask R‑CNN中的FPN与真伪二分类器依次连接作为所述深度卷积生成对抗网络的判别器；将采集的图像样本集X_l∪X_u作为真实数据样本输入判别器，对深度卷积生成对抗网络进行训练，确定生成器和判别器的参数；(3)对实例分割模型进行初步训练：保持步骤(2)中训练后FPN的参数不变，以标注数据集{X_l,Y_l}作为样本，训练所述实例分割模型，优化Mask R‑CNN其他模块的参数，得到能够生成粗分割掩码的实例分割模型；(4)构建对抗学习网络，所述对抗学习网络包括实例分割模型、编码模块和判别卷积网络；所述实例分割模型对输入图像进行掩码预测，并生成类别置信图；编码模块对类别置信图和标注数据的掩码进行编码，编码后的数据作为判别卷积网络的输入，判别卷积网络对输入的编码数据进行判别，生成分割表现置信图，对实例分割模型的分割结果进行判断；以图像样本集X_l∪X_u作为输入，对实例分割模型和判别卷积网络进行交替迭代训练，优化实例分割模型和判别卷积网络的参数；(5)对实例分割模型进行再训练：以未标注数据集X_u作为对抗学习网络的输入，实例分割模型对输入图像进行掩码预测生成类别置信图，编码模块对类别置信图编码，编码后的数据经过判别卷积网络生成分割表现置信图，对分割表现置信图中置信度高于阈值T_semi的区域反馈到实例分割模型中，对实例分割模型进行再训练；T_semi为预设的判别阈值；(6)将待分割的图像输入到步骤(5)训练后的实例分割模型，得到预测掩码即为分割结果。