[发明专利]一种基于特征迁移的半监督实例分割算法

说明书

本发明公开了一种基于特征迁移的半监督实例分割模型。该模型以Mask R‑CNN网络为基础，构建了一个基于逆卷积神经网络的特征迁移模块，将Mask R‑CNN目标检测分支学习的图像视觉特征转化为用于分割预测的特征。为了解决Mask R‑CNN目标检测分支输出特征分辨率与分割预测分支特征分辨率不匹配的问题，该模型的特征迁移模块中使用了逆卷积网络层对输入特征进行上采样。该模型通过特征迁移过程能有效提升Mask R‑CNN基准模型的半监督实例分割精度。

一、技术领域

本发明涉及图像分割技术领域，尤其涉及图像分割中的实例分割领域，是一种基于特征迁移的半监督实例分割算法。

二、背景技术

实例分割是自动驾驶、生物医学图像处理和机器人视觉控制等研究领域的关键技术。它需要对图像中的指定目标实例同时进行定位、分类和区域分割。实例分割是一项具有很大应用潜力，致力于改善人们日常生活的热门研究，并在生活场景和技术研究中有许多重要应用。例如对俯瞰城市地表图像进行分割用于体育场地改进、生物医学中的显微图像分割，利用机器视觉控制机器人抓取物体以及对自动驾驶的车载图像实例分割用于区别行人、道路和车辆等。

近些年来，深度学习利用其具有自动化特征提取的优势，在许多图像处理任务上取得了突破性的进展。在实例分割算法方面，基于监督学习的分割模型，如Mask R-CNN(HeK,Gkioxari G,Dollár P,et al.Mask r-cnn[C]//Proceedings of the IEEEinternational conference on computer vision.2017:2961-2969.)和MaskLab(Chen LC,Hermans A,Papandreou G,et al.Masklab:Instance segmentation by refiningobject detection with semantic and direction features[C]//Proceedings of theIEEE Conference on Computer Vision and Pattern Recognition.2018:4013-4022.)，在COCO、Cityscapes等公开数据集上达到了显著的分割效果。监督学习实例分割模型需要利用具有完整实例分割标注的图像数据集，才可以实现较好的分割效果。然而，收集实例分割标注需要消耗很多人力和时间成本。例如，COCO数据集单人标注一个物体目标的分割标签平均需要79秒左右，并且此后还需要额外分配人员对分割标注进行检查。COCO数据集的分割标注时间消耗是目标边框标注的15倍左右。

为了解决实例分割标注难以收集的困境，一些研究尝试结合目标边框、图片类别、目标数目等“弱”(相对易于收集的)标签完成弱监督实例分割。经过近年来的研究积累，虽然弱监督算法的性能已经有所提升，但当前最好的弱监督实例分割算法，例如IRNet(Laradji I H,Vazquez D,Schmidt M.Where are the Masks:Instance Segmentationwith Image-level Supervision[J].arXiv preprint arXiv:1907.01430,2019.)，与全监督实例分割算法(例如Mask R-CNN等)的性能差距仍然比较大。