[发明专利]一种基于深度循环注意力的图像多目标提取方法及系统

说明书

本申请公开了一种基于深度循环注意力的图像多目标提取方法及系统，该方法包括：构建目标对象分割网络模型，其中，对图像生成待分割目标对象的交互点集，并将每一个目标对象的交互点集转换为距离图；将所述图像经过基础网络，得到与原图像大小相同的深度视觉特征，在深度视觉特征的基础上得到外观嵌入特征；根据所述距离图和所述深度视觉特征学习同一目标对象和不同目标对象之间交互点的竞争，获得待分割目标对象的注意力图和背景的注意力图；根据所述待分割目标对象的注意力图、所述背景的注意力图和外观嵌入特征进行分割得到目标对象分割结果。通过本申请解决了现有技术中针对多目标提取时效果不理想的问题，从而提高了多目标分割的质量。

技术领域

本申请涉及到图像处理领域，具体而言，涉及一种基于深度循环注意力的图像多目标提取方法及系统。

背景技术

目前，图像信息量呈几何式爆发增长，图像处理技术得到了各界广泛的关注。交互式图像分割作为图像处理技术的一个重要分支，已经广泛应用于图像编辑、影视后期制作、图像语义识别、医疗图像分析和图像内容检索等领域。在交互式图像分割中，用户首先对感兴趣的目标对象进行交互，例如在目标对象区域内打点、画线条或者画矩形框等；通过结合用户提供的交互信息，将用户感兴趣的目标对象从图像背景中分离出来。

现有大部分传统的交互式分割方法通常将前景目标提取转化为图切割(graph-cut)优化问题，并通过最大流/最小割的能量最小化进行问题求解。然而，该类方法均以颜色、纹理和图像轮廓等低层级特征作为主要分割线索，特别是在前景和背景外观相近似、复杂背景和光照不均的情况下，产生的分割结果往往不够精确。

近年来，随着深度学习技术的快速发展和多个大规模图像数据集的构建，包括Image Net、Pascal VOC 2012和MS COCO 2014等，研究者们提出了许多基于深度学习的交互式图像分割方法，如Deep Selection、Deep GrabCut、RIS-Net、DEXTR、Polygon-RNN和SeedNet等。与传统的方法相比，该类方法在这些图像数据集上训练深度卷积神经网络，获得的深度分割网络模型对目标对象有更高层次的语义理解，极大地提高了分割结果的质量，且进一步减少了需要的用户交互数量。

Xu等(Ning Xu,Brian Price,et al.Deep Interactive Object Selection.)将用户的交互的前景信息和背景信息分别转换为距离图与原图像级联生成多通道图像，作为输入图像。经过微调好的FCN模型输出得到二分类概率图。

Xu等(Ning Xu,Brian Price,et al.Deep GrabCut for Object Selection)使用画框的形式进行用户交互，然后，将用户交互的框转换为距离图与原图像级联生成多通道图像，作为输入。通过由有编码器和解码器组成的网络模型，输出得到二分类概率图。

大部分传统的交互式分割方法以颜色、纹理和图像轮廓等低层级特征作为主要分割线索，特别是在前景和背景外观相近似、复杂背景和光照不均的情况下，产生的分割结果往往不够精确。需要选取合适的图像特征和手动调整特征的权重(重要度),需要耗费大量的计算时间和占用计算机内存资源，这不能给用户一个方便快捷的使用体验,阻碍了交互式分割方法的实际应用。

深度分割网络模型对目标对象有更高层次的语义理解，极大地提高了分割结果的质量，且进一步减少了需要的用户交互数量。然而，目前的方法主要处理单个目标对象的分割。当利用这些方法提取图像中多个目标对象时，则需要对每个目标对象进行一次推理预测，工作量大且任务繁琐。通过利用目标对象之间的外观相似性，RepFinder方法和RepSnapping方法能够同时提取图像中的重复场景元素，但这些方法仍然无法彻底解决抗类别(与类别无关)的图像多目标提取问题。