[发明专利]一种交互式自然图像抠图方法

权利要求书

1.一种交互式自然图像抠图方法，其特征在于，所采用的模型包含五个阶段，具体步骤如下：

(1)超像素划分阶段

超像素划分阶段主要对于输入图像进行超像素的划分；超像素是表示颜色和文理特征的像素块；

(2)信息区域的选取阶段

将输入图像平均划分成16个区域，根据区域内部的超像素信息来计算每一个区域的信息量Info，信息量的计算综合考虑每个区域内部的颜色、文理、标签熵和对象边界信息：

Info＝I+J+E+S(2)

式中：I、J、E和S分别表示该区域与其他区域之间的相似度、内部超像素的多样性、已有的标签熵以及内部包含的对象边界信息；等式(2)中的变量都是以超像素为单位进行计算的，其中I和J参考的是超像素的颜色和文理信息，具体定义如下：

其中，cm_i、ch_i和th_i分别是对应超像素i的颜色均值、颜色直方图和文理直方图，θ是为了防止被除数为0的偏置，λ₁，λ₂和λ₃为平衡系数，在实际运行中分别取0.4，0.35和0.25；

J的计算整体取负数；I考虑的是该区域与其他区域之间的相似度，与其他区域相似度高的区域更能表达图像整体的特征；J考虑的是该区域内部超像素之间的差异性，内部差异较大的区域更有可能位于前景和背景之间的过渡区域，对于用户划线标注的过程更有意义；

标签熵的定义如下：

其中，pb_i、pu_i和pf_i分别表示超像素i属于背景、过渡区域或前景的概率；

对象边界的计算参考边界映射图中的对应值：

其中，e_i是对应超像素的边界映射值，是根据超像素内部的像素集Ψ_i汇总出来的，em_k表示Ψ_i中的像素点k在边界映射图中的数值，δ和ε是平衡系数，根据Ψ_i中的像素数量计算得到，取值在[0,1]之间，白色表示可能位于对象边界的像素点；

(3)用户画线阶段

依据上述区域信息量的计算公式，每一次迭代都计算对应区域的信息量Info，然后将信息量最大的区域选择出来进行用户画线标记，用户只需要用红色、绿色和蓝色来分别标记前景、过渡区域和背景，每种类别只需要画一笔或两笔；

(4)马尔可夫传播

用户画线后，将标记信息最大化的传播到整张图像，实现精致的图像蒙版计算，首先依赖马尔可夫链来实现邻域内标签扩散；把每个超像素看作马尔可夫链中的节点，依据超像素之间的颜色、文理相似性构建概率转移矩阵，其中已经有明确标签信息的超像素视为吸收节点；每一次画线结束后都会更新概率转移矩阵，计算每个节点到不同类别吸收节点的最新转移概率pb_i、pu_i和pf_i，最终的三分图由最终的概率转移矩阵计算得到；信息区域选取、用户画线和马尔可夫传播的过程迭代进行，最大化实现标记信息在邻域内的传播；

(5)卷积神经网络传播

取每一个超像素的外接矩形，将其中带有用户标记的超像素作为训练集，对于网络模型进行训练，然后用训练好的网络模型来预测其余超像素的类别概率，最终完成对于概率转移矩阵的更新；以前景、背景和过渡区域的三分类作为分类标签，最终由softmax实现激活映射；整体网络训练20个epoches，使用指数下降的学习率和交叉熵Loss函数；设定0.65的阈值来根据概率转移矩阵计算三分图，最终预测得到所述图像蒙版。