[发明专利]基于单阶段网络的实时实例分割方法及其系统和电子设备

说明书

一种基于单阶段网络的实时实例分割方法及其系统和电子设备。该基于单阶段网络的实时实例分割方法包括步骤：通过单阶段的目标检测网络模型，对原始图像进行目标检测处理，以得到一系列特征图和检测目标数据；分别对该一系列特征图中的一部分特征图进行预处理，以得到相应的参考特征图；通过将该检测目标数据中检测目标的边框作为感兴趣区域，对该参考特征图进行裁剪和拼接处理，以得到拼接特征图；以及通过掩码预测网络模型，对该拼接特征图进行掩码预测处理，以得到与该检测目标对应的掩码分割结果。

技术领域

本发明涉及图像分割技术领域，尤其是涉及基于单阶段网络的实时实例分割方法及其系统和电子设备。

背景技术

目前，计算机视觉中的图像分割任务通常包括语义分割和实例分割。该语义分割一般指的是将像素按照图像中表达的语义含义进行分类，使得计算机能够识别出各个像素的目标类别并标出相应标签，以实现对视觉场景的理解。而该实例分割则是在语义分割的基础上，除了识别各个像素的目标类别之外，还需要分隔出同一类别的不同实例。

随着卷积神经网络(英文Convolution Neural Network，简称CNN)在视觉理解方面取得了巨大成功，在可穿戴设备(如AR眼镜)、安全系统、移动电话、智能机器人以及汽车等各种应用中，现有的实例分割技术方案中也逐渐采用了卷积神经网络。例如，现有的掩码区域推荐卷积神经网络(英文Mask Regions proposal Convolution Neural Networks，简称Mask RCNN)先利用不含全连接层的景点卷积网络(如残差网络，ResNet50)作为主干网络，以计算图像的特征图；再利用区域推荐网络(英文Region Proposal Network，简称RPN)根据该特征图生成推荐区域(即可能包含目标的区域)；最后利用头层网络根据该推荐区域和该特征图预测各区域的类别、边框(bounding box)和掩码(Mask)。

然而，该现有的掩码区域推荐卷积神经网络的计算过程分为区域推荐和头层预测两个阶段。尤其在区域推荐阶段，该区域推荐网络先对特征图的每个位置生成九种候选区域，并在利用特征图计算候选区域的可能包含目标(即属于前景)的概率之后，再按照概率得分和非极大值抑制的原理对该候选区域进行筛选，进而得到推荐区域。而由于候选区域数量较大，且筛选过程计算复杂，因此该区域推荐阶段的存在将极大地增加了该现有的掩码区域推荐卷积神经网络的计算时间，使得该现有的掩码区域推荐卷积神经网络难以实现实时的实例分割，无法满足当下增强现实、智能机器人以及无人驾驶等领域越来越高的实时性要求。

发明内容

本发明的一优势在于提供一基于单阶段网络的实时实例分割方法及其系统和电子设备，其能够大幅地减少计算量，缩短计算时间，以便实现实时的实例分割。

本发明的另一优势在于提供一基于单阶段网络的实时实例分割方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于单阶段网络的实时实例分割方法无需像Mask RCNN那样进行区域推荐的计算，而是直接输出检测目标数据和掩码分割结果，以大幅地减小计算时间。

本发明的另一优势在于提供一基于单阶段网络的实时实例分割方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于单阶段网络的实时实例分割方法适于被部署至诸如AR眼镜或智能手机等移动端进行应用。

本发明的另一优势在于提供一基于单阶段网络的实时实例分割方法及其系统和电子设备，其中，在本发明的一实施例中，所述基于单阶段网络的实时实例分割方法能够在保留单阶段卷积神经网络的参数少、模型小以及计算速度快等优势的同时，还能够解决所述单阶段的目标检测网络无法分割单个检测目标实例的问题，进而实现实时的实例分割。