[发明专利]一种基于深度卷积神经网络的前景对象图像分割方法

说明书

本发明公开了一种基于深度卷积神经网络的前景对象图像分割方法，将分割任务设置为密集的标记问题，并提出一种基于深度卷积神经网络的像素级图像分割模型FOSeg模型。FOSeg模型是一个可以预测每个像素是前景对象可能性的支持端到端训练的前景对象图像分割模型。FOSeg模型分割流程图如图1所示：首先输入原始图像，经过深度卷积神经网络的卷积、汇合、线性整流等操作，然后输入到分流聚合模块从而得出特征映射得分图，随后经过双线性插值算法的上采样操作得到粗糙的分割图，最后将得到的粗糙分割图送入条件随机场模型中进一步细化分割结果，从而得出精细的分割图像。

【技术领域】

本发明涉及计算机视觉领域技术领域，具体涉及一种基于深度卷积神经网络的前景对象图像分割方法。

【背景技术】

根据分割是否依赖类别，可以将前景对象分割模型分为两类。(1)不依赖类别的分割：无论图像中的对象有多少类，只提取前景对象掩码的分割模型；(2)特定类别的分割：从分类标记的数据中学习,并寻求分割新图像中的特定类别的分割模型。

(1)不依赖类别的分割

根据分割策略与目的的不同，将不依赖类别的分割分为以下三种：

交互式图像分割模型：如GrabCut[10]模型就是让人用边框或涂鸦来指导算法。当需要进行高精度的分割时，一些来自人类的指导是值得的，这类模型是较适合的。虽然减少人工的参与，但不能全自动的完成分割。

对象建议模型：该类模型以边界框或区域的形式，生成上千个前景对象建议。产生上千个假设可以确保高的召回率，但往往会导致低精度的结果。虽然其对目标检测有效，但在没有特定信息的情况下，很难自动地从这个大的假设集合中过滤出准确的建议，完成分割任务。

显著性模型：该类模型的目标是识别可能吸引人类注意力的区域。有些模型产生高度局部化的区域，而另一些模型则分割完整的对象。显著性模型关注的是“突出”的对象，不能分割所有前景对象。

(2)特定类别的分割

根据训练数据集的不同使用策略将特定类别的分割模型分为以下三种：

语义分割模型：语义分割是指对对象进行联合识别和分割的任务，将每个像素划分为k个固定类别之一。大多数的深层语义分割模型包括完全卷积网络，它应用连续的卷积层和池化层，然后在末端进行上行采样或反卷积操作，从而产生像素级的分割映射图。但是，这些模型是针对固定数量的类别进行训练的，泛化能力较弱。

弱监督的联合分割模型：弱监督的联合分割模型比语义分割模型使用更弱的监督，其思想是利用集合内的相似性来发现共同的前景。给定一批已知的包含相同对象类别的图像,输出是特定类别的像素级掩码或边框。虽然联合分割是有效的，但它的性能受到集合内共享结构的限制，类内的特征和形状的变化构成了一个重大的挑战。此外，客观世界的复杂性使得图像数据易于受到不同类型视觉噪声的干扰进而影响分割模型的表现。这种复杂性主要来源于以下两个方面：物体本身的视觉变化，主要包括姿态、形变、朝向、尺度、外观以及遮挡等因素；客观世界的随机变化，如光照、噪声以及成像技术等。总之，以上这些因素大大限制了弱监督的联合分割模型的分割表现。

基于传播的模型：基于传播的模型将信息从带有人类标记的前景掩码的样本中传递。它们通常在可能的前景区域和样本之间进行匹配。缺点是需要在测试时存储大量的范例数据，并为每个测试映像执行昂贵且可能有噪声的匹配过程。

基于深度卷积神经网络(Deep Convolutional Neural Networks,DCNNs)的图像分割模型都面临着以下两个挑战:(1)输出特征分辨率降低，(2)由于DCNNs内在不变性而下降的定位精度。