[发明专利]模型训练与实例分割方法、装置和系统及存储介质

说明书

本发明实施例提供一种模型训练方法、装置和系统以及存储介质。网络训练方法包括：获取训练图像和训练图像遮罩；将训练图像输入实例分割模型中的前端模型结构，以获得目标区域对齐特征图，其中，目标区域对齐特征图为与用于指示训练图像中的目标对象所在位置的第一目标区域相对应的、经对齐操作的特征图；将目标区域对齐特征图输入实例分割模型中的遮罩生成器，以获得与目标区域对齐特征图对应的生成分割遮罩；基于训练图像遮罩确定与目标区域对齐特征图对应的真实分割遮罩；以及利用目标区域对齐特征图、生成分割遮罩和真实分割遮罩对遮罩生成器和判别器进行对抗训练。上述方法可以有效解决遮罩生成器受图像多峰性质影响的问题。

技术领域

本发明涉及图像识别领域，更具体地涉及一种模型训练方法、装置和系统以及一种实例分割方法、装置和系统以及存储介质。

背景技术

实例分割一直是计算机视觉领域十分重要且备受关注的问题与技术方法，其目标是给定一张图像，通过算法给出图像中所有目标对象的分割遮罩(Segmentation Mask)和类别信息。

当下实例分割的主流框架是遮罩区域卷积神经网络(Mask-RCNN)框架。在Mask-RCNN中，先通过区域提议网络(RPN)对每一张图像给出若干目标区域(简称RoI，也可以称为感兴趣区域)，再对RoI进行RoI对齐得到RoI对齐特征图，最后可以将RoI对齐特征图输入遮罩生成器得到分割遮罩。当下遮罩生成器的训练方法无法很好处理图像的多峰问题，即当某个RoI中含有多个物体时，模型输出的分割遮罩无法与其中任何一个物体较好匹配。

发明内容

考虑到上述问题而提出了本发明。本发明提供了一种模型训练方法、装置和系统以及一种实例分割方法、装置和系统以及存储介质。

根据本发明一方面，提供了一种模型训练方法。该方法包括：获取训练图像和训练图像遮罩；将训练图像输入实例分割模型中的前端模型结构，以获得目标区域对齐特征图，其中，目标区域对齐特征图为与用于指示训练图像中的目标对象所在位置的第一目标区域相对应的、经对齐操作的特征图；将目标区域对齐特征图输入实例分割模型中的遮罩生成器，以获得与目标区域对齐特征图对应的生成分割遮罩；基于训练图像遮罩确定与目标区域对齐特征图对应的真实分割遮罩；以及利用目标区域对齐特征图、生成分割遮罩和真实分割遮罩对遮罩生成器和判别器进行对抗训练。

示例性地，利用目标区域对齐特征图、生成分割遮罩和真实分割遮罩对遮罩生成器和判别器进行对抗训练包括：将目标区域对齐特征图和生成分割遮罩作为生成数据对，将目标区域对齐特征图和真实分割遮罩作为真实数据对，将生成数据对和真实数据对输入判别器，以获得判别结果；基于判别结果计算生成器损失和判别器损失；以及根据生成器损失和判别器损失优化遮罩生成器和判别器，以获得经训练的遮罩生成器。

示例性地，前端模型结构包括区域提议网络，用于输出用于指示训练图像中的目标对象所在位置的第二目标区域的目标区域信息，第一目标区域基于第二目标区域过滤获得，实例分割模型还包括包围框回归器和分类器，方法还包括：将目标区域对齐特征图输入包围框回归器，以获得与目标区域对齐特征图相对应的、用于指示训练图像中的目标对象所在位置的包围框的包围框信息；将目标区域对齐特征图输入分类器，以获得目标区域对齐特征图所对应的包围框中所包含对象的对象分类信息；获取训练图像中的目标对象的标注位置信息和标注分类信息；基于标注位置信息和目标区域信息计算区域提议网络的区域提议网络回归损失；基于标注位置信息和包围框信息计算包围框回归器的包围框回归器损失；基于标注分类信息和对象分类信息计算分类器的分类器损失；根据生成器损失和判别器损失优化遮罩生成器和判别器，以获得经训练的遮罩生成器包括：交替优化实例分割模型和判别器以最小化模型损失和判别器损失直至收敛，以获得经训练的实例分割模型，其中，经训练的实例分割模型包括经训练的遮罩生成器，模型损失包括生成器损失、区域提议网络回归损失、包围框回归器损失和分类器损失。