[发明专利]一种基于超像素和条件随机场的弱监督图像语义分割方法

说明书

一种基于超像素和条件随机场的弱监督图像语义分割方法，属于图像处理领域，其特征在于用SLIC算法分割图像时可以自适应产生预分割超像素个数K，并且将颜色特征和纹理特征融合进行超像素合并，迭代的终止条件是合并的超像素块数等于类别标签个数的3倍。以超像素块为节点再构建无向图模型，将图像中的类别关联信息和相似度加入到成对的势能函数中，将超像素块和类别标签一一对应，将二阶条件随机场能量函数作为语义分割的模型进行标签推断，其推断结果就是优化能量函数的结果，把目标分类转化为能量函数最小化的问题。本发明不仅改进了超像素分割算法，还引入条件随机场模型，提高了弱监督语义分割的精度。

技术领域

本发明属于图像处理领域，具体涉及一种基于(Superpixel)和条件随机场(Conditional Random Fields)的弱监督图像语义分割方法。

背景技术

在人类的感知系统当中，视觉系统因为信息量大且利用率高，成为我们获取外界信息最常用的方式之一。如何模拟人类对一幅画面从接收到语义诠释这一过程，是现今计算机视觉技术面临的巨大挑战。如今，与计算机视觉有关的智能系统应用于社会生活的各个角落，作为计算机视觉研究的重要领域，语义分割对场景理解、目标识别、图像或视频编辑等众多应用都具有十分重要的意义。相较于普通的图像分类而言，图像的语义分割可以提取得到更多的信息，不仅可以找到图像中的语义信息，还可以精确地定位到所有的语义信息在图像中的位置。图像语义分割技术能够深层次地理解图像语义内容，把语言标签映射到图像中相应的区域上，能够实现更准确的图像理解效果。

现有的语义分割算法根据监督信息的多少主要分为全监督语义分割算法和弱监督语义分割算法。全监督语义分割方法需要使用精细标注的数据，即每个像素都经过人工精确标注的图像作为训练数据。这种精确标注的数据集非常有限，其在标注过程中非常耗时耗力且因标注人员主观理解习惯而不同。基于全监督学习中像素级标注难以获得的问题，提出了弱监督学习这种方法。弱监督学习可以利用具有弱标注图像样本，如图像级标注或边界框(boundingbox)标注样本进行学习。目前，随着图像分享网站的不断普及并提供了大量用户标注的图像，与全监督语义分割相比，弱监督语义分割因为图像级标签易获取成为了语义分割领域的一个研究热点。

近年来，国内外研究者对弱监督条件下的语义分割问题进行了一系列研究，这些工作可以大概分成三类：基于分类器弱化的方法、基于聚类的方法和基于深度卷积神经网络(DCNN)的方法。

基于分类器弱化的方法是从弱化监督数据的角度出发，将带有某标记的图像中所有像素或者超像素均作为该标记的正样本，无此标记的图像中所有像素或者超像素作为负样本，直接进行分类器的训练，并使用弱监督关系和某些假设定义正则化约束项，通过寻优找到最佳的分类器。

基于聚类的方法是假设具有相同语义标记的超像素特征距离较近，而不同语义标记的超像素特征距离较远。聚类完成后，利用弱标记信息在聚类得到的类簇加上标记。利用聚类方法进行弱监督语义分割是最朴素的想法，但是聚类中心的确定、聚类方法的准确性以及类标记的确定等问题一直未得到很好的解决。

基于深度卷积神经网络的方法是以DCNN框架为基础，通过训练DCNN来获得对象位置。Oquab等人应用DCNN框架生成单个点来推断对象的位置，但该方法无法检测图像中同一类的多个对象。Pinheiro等人和Pathak等人在最终的成本函数中增加了分段约束以优化DCNN图像级标签的参数。但是，这两种方法需要额外的注释才能获得较好的效果。

为了获得高精度、高效率的感知分组，以超像素为基本处理单元的图像分割成为近年来的一种非常重要的方式。与像素相比，使用超像素作为基本处理单元，不仅可以显著降低算法的计算复杂度，而且可以提供强大的分组提示来指导分割。最重要的是，超像素能够保持目标的原始边界信息的高精度，极大地加快了后续超像素合并的过程。因此，超像素分割近年来引起了人们的广泛关注，成为图像分割、分类、目标跟踪、目标定位和图像语义分割等应用领域的重要方法。