[发明专利]一种实例分割方法及装置、电子设备、存储介质

说明书

本公开实施例公开了一种实例分割方法，该方法包括：获取图像的一个以上建议区域，以及每个建议区域的特征，将每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到图像的实例分割的结果。通过实施上述方案，提高了实例分割的准确率。

技术领域

本公开涉及图像处理技术领域，尤其涉及一种实例分割方法及装置、电子设备、存储介质。

背景技术

图像的实例分割，是计算机视觉中的一个基本任务，广泛地应用于人脸检测、移动娱乐应用和自动驾驶中，物体检测要求用矩形框定位物体并且预测类别，而实例分割则更具有挑战性，要求定位出属于该物体的像素点，即用掩膜来表示该物体。

一般地，在实例分割算法Mask R-CNN中，先用卷积神经网络提取图片的特征图，然后再用区域提议网络得到图片的若干个建议区域，对每个建议区域通过ROI Align在图片的特征图的基础上提取每个建议区域的特征，然后经过两个分支，分别预测物体框和物体框中的掩膜；然而，由于每个分支预测物体框和物体框中的掩膜的能力有限，导致实例分割的准确率较低。

发明内容

本公开实施例期望提供一种实例分割方法及装置、电子设备、存储介质，旨在提高实例分割的准确率。

本公开实施例的技术方案是这样实现的：

本公开实施例提供了一种实例分割方法，包括：

获取图像的一个以上建议区域，以及每个建议区域的特征；

将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果；其中，N为大于等于2的正整数。

在上述方案中，所述将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：

将所述每个建议区域的特征输入至包含N个层级的预测网络中，分别进行N级物体框预测和物体掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。

在上述方案中，所述将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：

将所述每个建议区域的特征输入至包含N个层级的预测网络中，每一级按照先物体框预测后物体框中的掩膜预测的顺序，进行N级物体框预测和物体框中的掩膜预测，得到所述每个建议区域的物体框和所述每个建议区域的物体框中的掩膜。

在上述方案中，所述将所述每个建议区域的特征输入至包含N个层级的预测网络中，进行N级物体框预测和物体框中的掩膜预测，输出得到所述图像的实例分割的结果，包括：

获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；

根据从所述每个建议区域的第i-1级物体框中提取出的特征，进行第i级物体框预测和第i级物体框中的掩膜预测，得到所述每个建议区域的第i级物体框和第i级物体框中的掩膜；

i更新为i+1，返回至所述获取所述每个建议区域的第i-1级物体框，并从所述每个建议区域的第i-1级物体框中提取特征；

直至得到所述每个建议区域的第N级物体框和第N级物体框中的掩膜，将所述每个建议区域的第N级物体框和第N级物体框中的掩膜，作为所述图像的实例分割的结果；

其中，i大于等于1小于等于N；

当i＝1时，从所述每个建议区域的第i-1级物体框中提取出的特征为所述每个建议区域的特征。