[发明专利]一种基于超像素和条件随机场的弱监督图像语义分割方法

权利要求书

1.一种基于超像素和条件随机场的弱监督图像语义分割方法，其特征在于：包括下述步骤：

1)超像素图像分割：对图像进行SLIC超像素分割，自适应产生预分割超像素个数为K，首先将RGB图像转换成HSV模式，其方法在于构造一个一维特征矢量Z，将HSV量级化，并把各颜色分量合成一维特征矢量，计算公式为：Z＝9H+3S+V，统计Z中相同值出现的次数,将这些值从小到大进行排序，取这些数的中位数m，则超像素预分割的个数K＝[m]；假设图像有N个像素，则每个超像素的大小为N/K，且超像素中心点距离最近表示为S，以步长为S的网格初始化聚类中心；

2)超像素特征提取：提取颜色特征、纹理特征来描述每一个超像素；

3)超像素合并：根据特征向量计算不同超像素之间的相似度，进而基于相似度将超像素合并为超像素块，将纹理特征和颜色特征进行融合，再设定相似度阈值运用到超像素合并阶段，使超像素块的个数等于图像标签个数的3倍；其方法是定义一个相似度函数其中λ为调节因子，和分别为颜色和纹理特征距离，再设定一个阈值T∈[0,1]，将相似度高于阈值T的合并，逐步进行迭代，迭代的终止条件是：合并的超像素块数P等于类别标签个数的3倍；

4)由3)超像素合并后，将每一个超像素块赋予语义类别标签；以超像素块为节点再构建无向图模型G(V,E)，其中V是结点，E是连接结点的边，由建立二阶条件随机场模型，将类别标签与超像素块的映射问题转换成能量函数最小化的问题，使能量函数最小的类别就是语义类别的标签，其中E(y,X)为能量函数，φ_u(y_i,x_i)为单点势能函数，φ_p(y_i,y_j,x_i,x_j)为成对的势能函数，假设C＝[C₁,C₂,…,C_n]是数据集中图像的类别标记，n为数据集图像的个数，将图像中的类别关联信息和相似度加入到成对的势能函数中，将超像素块和类别标签一一对应；

5)构建条件随机场模型，得到语义分割结果；将二阶条件随机场能量函数作为语义分割的模型进行标签推断，利用图像的高阶信息，将语义标签推断转化为能量函数最小化的问题，标签推断的结果就是最小化能量函数，就是超像素块标签推断的结果：φ_u(y_i,x_i)为单点势能函数，φ_p(y_i,y_j,x_i,x_j)为成对的势能函数。

2.根据权利要求1所述一种基于超像素和条件随机场的弱监督图像语义分割方法，其特征在于：在3)中超像素合并时，将纹理特征和颜色特征进行融合，再设定相似度阈值运用到超像素合并阶段，其方法是定义一个相似度函数其中颜色特征距离纹理特征距离其中，l_i、a_i、b_i和l_j、a_j、b_j是第i个超像素和第j个超像素对应的Lab颜色分量的均值也就是颜色特征向量，t_i和t_j分别是第i个超像素和第j个超像素对应的Gabor纹理特征向量。

3.根据权利要求1所述一种基于超像素和条件随机场的弱监督图像语义分割方法，其特征在于：在4)中t(i,j)为类别关联函数，其中P(ij)是类别标记c_i和c_j同时出现的概率，P(i+j)是类别标记c_i和c_j任意一个出现的概率，μ(i,j)为余弦相似度函数，C_i是类别标记C的第i列，C_i可以看作c_i的一种特征向量；能量函数为：单点势能函数为：其中Z为归一化因子，l为图像标记的真值，l_i(y_i)表示l_i的第y_i个元素，D(x_i)是指与y_i相似的相邻超像素块的集合，而能量函数中成对的势能函数为: 其中ρ为权重因子，用来调节成对势能函数在条件随机场模型中所占的权重，I( · ) 是指示函数，若y_i≠y_j为真，则函数输出为1；若y_i≠y_j为假，则函数输出为0，δ用来调节高斯核的宽度，t(i,j)为类别关联函数，μ(i,j)为余弦相似度函数。