[发明专利]实例分割方法和装置、电子设备、程序和介质

说明书

本发明实施例公开了一种实例分割方法和装置、电子设备、程序和介质，其中，方法包括：通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；从所述至少两个不同层级的特征中抽取所述图像中至少一实例候选区域对应的区域特征、并对同一实例候选区域对应的区域特征进行融合，得到各实例候选区域的第一融合特征；基于各第一融合特征进行实例分割，获得相应实例候选区域的实例分割结果和/或所述图像的实例分割结果。本发明实施例设计了基于深度学习的框架解决实例分割的问题，可以获得更准确的实例分割结果。

技术领域

本发明涉及计算机视觉技术，尤其是一种实例分割方法和装置、电子设备、程序和介质。

背景技术

实例分割是计算机视觉领域非常重要的方向，此任务结合了语义分割和物体检测的特点，对于输入图像中的每一个物体，都会为他们生成一个独立的像素级别的掩膜(mask)，并且预测其对应的类别。实例分割在无人驾驶、家居机器人等领域有着非常广阔的应用。

发明内容

本发明实施例提供一种实例分割方案。

根据本发明实施例的一个方面，提供的一种实例分割方法，包括：

通过神经网络对图像进行特征提取，输出至少两个不同层级的特征；

从所述至少两个不同层级的特征中抽取所述图像中至少一实例候选区域对应的区域特征、并对同一实例候选区域对应的区域特征进行融合，得到各实例候选区域的第一融合特征；

基于各第一融合特征进行实例分割，获得相应实例候选区域的实例分割结果和/或所述图像的实例分割结果。

在基于本发明上述各方法实施例的另一个实施例中，所述通过神经网络对图像进行特征提取，输出至少两个不同层级的特征，包括：

通过所述神经网络对所述图像进行特征提取，经所述神经网络中至少两个不同网络深度的网络层输出至少两个不同层级的特征。

在基于本发明上述各方法实施例的另一个实施例中，所述输出至少两个不同层级的特征之后，还包括：

将所述至少两个不同层级的特征进行至少一次折回融合，得到第二融合特征；其中，一次所述折回融合包括：基于所述神经网络的网络深度方向，对分别由不同网络深度的网络层输出的不同层级的特征，依次按照两个不同的层级方向进行融合；

从所述至少两个不同层级的特征中抽取所述图像中至少一实例候选区域对应的区域特征，包括：从所述第二融合特征中抽取所述至少一实例候选区域对应的区域特征。

在基于本发明上述各方法实施例的另一个实施例中，所述两个不同的层级方向，包括：从高层级特征到低层级特征的方向、和从低层级特征到高层级特征的方向。

在基于本发明上述各方法实施例的另一个实施例中，所述依次按照两个不同的层级方向，包括：

依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向；或者

依次沿从低层级特征到高层级特征的方向和从高层级特征到低层级特征的方向。

在基于本发明上述各方法实施例的另一个实施例中，对分别由不同网络深度的网络层输出的不同层级的特征，依次沿从高层级特征到低层级特征的方向和从低层级特征到高层级特征的方向进行融合，包括：

沿所述神经网络的网络深度从深到浅的方向，依次将所述神经网络中，经网络深度较深的网络层输出的较高层级的特征上采样后，与经网络深度较浅的网络层输出的较低层级的特征进行融合，获得第三融合特征；

沿从低层级特征到高层级特征的方向，依次将较低层级的融合特征降采样后，与所述第三融合特征中较高层级的融合特征进行融合。

在基于本发明上述各方法实施例的另一个实施例中，所述较高层级的特征，包括：