[发明专利]一种增强图像实例分割的方法、系统、设备及介质

说明书

本发明公开了一种增强图像实例分割的方法、系统、设备和存储介质，方法包括：在主训练网络中设置与主训练网络架构相同的辅助训练网络，并对原始图片进行数据增强以得到增强图片；将原始图片输入主训练网络，将增强图片输入辅助训练网络；判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主训练网络产生的第一预测框与目标框的交并比值；以及响应于第二预测框与目标框的交并比值大于第一预测框与目标框的交并比值，用第二预测框与目标框的交并比值替换第一预测框与目标框的交并比值进行图像实例分割。本发明通过加入辅助分支，利用较大的预测框与目标框的交并比值来进行实例分割，极大地降低了样本不平衡带来的影响。

技术领域

本发明涉及目标检测领域，更具体地，特别是指一种增强图像实例分割的方法、系统、计算机设备及可读介质。

背景技术

实例分割是基于目标检测技术发展起来的一个领域，是比目标检测更难的问题。要求在目标检测的基础上，还要求分割出物体的像素。同时它与语义分割也存在着很大的不同。语义分割只是区分图像中像素点具体属于哪一种类别，同一物体不同实例不需要分割出来。实例分割可看成目标检测和语义分割的结合，因此研究难度也相应提升。

目前常用的实例分割算法是Mask RCNN(一种针对目标检测和实例分割任务的网络)算法。Mask RCNN是在Faster RCNN(一种目标检测网络)添加新分支进行像素级别预测。该分支输出二进制掩码，表示像素是否属于目标对象。将这些掩码同分类结果和检测框结合起来，便形成了实例分割。Mask RCNN从网络结构上来看只是在Faster RCNN基础上加了一个分支，因此Faster RCNN存在的训练样本分布不平衡问题，在Mask RCNN中依然存在，因而如何解决训练样本分布不平衡的问题，成为急需解决的问题。

发明内容

有鉴于此，本发明实施例的目的在于提出一种增强图像实例分割的方法、系统、计算机设备及计算机可读存储介质，通过加入辅助分支，利用较大的预测框与目标框的交并比值来进行实例分割，极大地降低了样本不平衡带来的影响；提出特征图交换策略，增强网络鲁棒性；添加辅助分支损失及KL散度损失，进一步增强实例分割性能。

基于上述目的，本发明实施例的一方面提供了一种增强图像实例分割的方法，包括如下步骤：在主训练网络中设置与所述主训练网络架构相同的辅助训练网络，并对原始图片进行数据增强以得到增强图片；将原始图片输入主训练网络，将增强图片输入辅助训练网络；判断辅助训练网络产生的第二预测框与目标框的交并比值是否大于主训练网络产生的第一预测框与目标框的交并比值；以及响应于第二预测框与目标框的交并比值大于第一预测框与目标框的交并比值，用第二预测框与目标框的交并比值替换第一预测框与目标框的交并比值进行图像实例分割。

在一些实施方式中，所述对原始图片进行数据增强以得到增强图片包括：对所述原始图片的坐标框进行预设距离的位移。

在一些实施方式中，还包括：基于所述主训练网络产生多个尺度的第一语义特征图，基于所述辅助训练网络产生多个尺度的第二语义特征图，并将相同尺度的所述第一语义特征图和所述语义第二特征图以预定概率进行交换。

在一些实施方式中，还包括：在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失。

在一些实施方式中，所述在图像实例分割中加入所述主训练网络的主分支损失和所述辅助训练网络的辅助分支损失包括：将初始坐标框与所述第一语义特征图结合得到第一分类特征图，将所述初始坐标框与所述第二语义特征图结合得到第二分类特征图，根据所述第一分类特征图和所述第二分类特征图得到散度损失。

在一些实施方式中，所述根据所述第一分类特征图和所述第二分类特征图得到散度损失包括：计算相同尺度的第一分类特征图和第二分类特征图的子散度损失，并将所有尺度的子散度损失相加得到散度损失。