[发明专利]一种基于初始标注点指导的图像交互分割方法

说明书

本发明属于图像处理技术领域，尤其为一种基于初始标注点指导的图像交互分割方法，步骤如下；S10全局标注点特征提取、S20初始标注点指导、S30两类特征融合预测、S40基于全局标注点损失函数监督、S50结构保持性策略处理物体预测图。该发明目的是使用户交互生成的标注点能更加有效地利用初始标注点信息来得到精细的图像分割结果，因此设计了一种基于初始标注点指导的图像交互分割方（FCANet），本发明提出的FCANet通过将初始标注点作为额外的监督指导，分割出的目标物体具有更少的错误区域，能容忍用户存在一些错误的交互操作；经实验，本发明在公开的5个数据集上均超越最前沿的图像交互分割方法。

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于初始标注点指导的图像交互分割方法。

背景技术

图像交互分割的目的是通过用户交互的方式，将一张图片中的目标物体分割出来；通常情况下，用户通过点击设置一些前景和背景的标注点来得到分割结果；该技术在图像编辑，图像标注等领域有着广泛的应用。

近年来，由于深度学习在图像分割任务上的强大能力，2016年以来大多数方法都使用神经网络来进行图像的交互分割；新加坡国立大学的Liew等人提出了基于标注点对的局部区域图像分割方法，使分割结果能在物体局部达到更好的效果；首尔大学的Song等人通过强化学习，使计算机生成更多的模拟标注点进行分割；英特尔实验室的Li等人为了解决交互分割过程中存在的二义性问题，提出了使用神经网络生成多个分割结果，再使用另一个神经网络进行选择的方法；拉夫堡大学的Hu等人设计了一个两路神经网络，来达到更好的分割质量；哈佛大学的Jang等人提出了一种特殊的反向传播策略，强制标注点像素得到正确的分割结果来修正初始标注点信息，以此来达到更好的分割质量；波恩大学的Majumder等人提出了使用标注点来生成特殊的指导图，如通过超像素生成物体推荐指导图，通过将这些特殊的指导图输入神经网络，来获得最终的分割结果；以上这些方法都存在一个共性，但他们都选择将所有的标注点信息整体对待，对于每一个标注点，他们的对待方式是同等的；但是，由于用户在交互分割过程中，每一次交互分割的标注点都是基于上一次交互分割的结果而设置的，而初始交互点所提供的信息尤为重要，它不仅提供了物体的整体信息，还指示了目标物体的位置信息等；因此，将初始标注点区别对待则显得尤为重要。

发明内容

本发明的目的在于提供一种基于初始标注点指导的图像交互分割方法，以解决上述背景技术中提出的现有的这些方法都存在一个共性，但他们都选择将所有的标注点信息整体对待，对于每一个标注点，他们的对待方式是同等的问题。

为了实现以上目的，本发明采用的技术方案为：一种基于初始标注点指导的图像交互分割方法，步骤如下；

S10全局标注点特征提取、S20初始标注点指导、S30两类特征融合预测、S40基于全局标注点损失函数监督、S50结构保持性策略处理物体预测图。

进一步的，所述S10全局标注点特征提取：使用所有的前景标注点和背景标注点作为输入信息，指导多层卷积神经网络提取输入图像特征。

进一步的，所述S20初始标注点指导：将初始标注点作为额外输入，与全局标注点分割的主干网络的低层次特征融合，提取目标物体主体信息，使用基于初始标注点的损失函数进行约束监督。

进一步的，所述S30两类特征融合预测：将全局标注点得到的特征和初始标注点得到的特征融合，通过多尺度卷积模块，并联合底层特征修正较高层级的分割图，以此得到最终的预测结果。

进一步的，所述S40基于全局标注点损失函数监督：使用基于用户所有标注点的损失函数来对预测结果图进行监督，通过目标物体分割图像与人工标注的参考图像的计算对应损失值，进行梯度回传、更新网络。

进一步的，所述S50结构保持性策略处理物体预测图：使用基于连通性的结构保持性策略对二值分割后的预测图像进行处理，消除与前景标注点不连通的许多错误区域。