[发明专利]基于用户实时点击交互的自然图像抠图方法

权利要求书

1.一种基于用户实时点击交互的自然图像抠图方法，其特征在于，包括：

交互式抠图阶段：获取输入的原始图像、以及与用户交互获得的包含前景与背景信息的指示图；根据指示图从原始图像的完整图像蒙版中提取仅包含指示图中前景信息的图像蒙版，作为初步图像蒙版；

不确定度指导的局部精修阶段：通过对初步图像蒙版进行不确定度估计，获得不确定度图，在不确定图的指导下，将初步图像蒙版与原始图像裁切出不确定度超过预设值的相应位置的像素块，再通过不含下采样的全卷积网络进行局部精修；得到局部精修结果后，贴回所述初步图像蒙版的相应位置处，得到精修后的图像蒙版，作为本次迭代的完整图像蒙版。

2.根据权利要求1所述的一种基于用户实时点击交互的自然图像抠图方法，其特征在于，通过编码器与蒙版解码器协同完成交互式抠图阶段的操作；

所述编码器，用于对输入的原始图像与指示图进行编码；

所述蒙版解码器，用于根据编码器的编码结果预测初步图像蒙版；

最初时刻，对于输入的原始图像，所述编码器与所述蒙版解码器配合，预测初步图像蒙版，再通过局部精修获得精修后的图像蒙版，作为初始时刻的完整图像蒙版；之后通过与用户交互，确定用户在原始图像中指定的前景与背景信息，从而生成指示图；所述指示图经编码器编码后，通过跳跃连接输入至蒙版解码器，由蒙版解码器从完整图像蒙版中提取出初步图像蒙版。

3.根据权利要求1或2所述的一种基于用户实时点击交互的自然图像抠图方法，其特征在于，所述交互式抠图阶段的损失函数包括：图像空间损失与梯度空间损失；

图像空间损失对原始图像的过渡区域T施加L₁损失，对原始图像的前景与背景区域S施加L₂损失：

上式中，α_p和α_g分别表示预测的初步图像蒙版和给定的监督蒙版，增加上标后即为相应像素的蒙版遮罩值和监督信息值，|f|表示f的元素个数；i、j均表示像素索引；

梯度空间损失为被预测的初步图像蒙版与监督蒙版在空域梯度上的L₁损失：

其中，Ω表示原始图像I的所有像素，▽为梯度幅值符号。

4.根据权利要求1或2所述的一种基于用户实时点击交互的自然图像抠图方法，其特征在于，未与用户交互之前，指示图中所有像素值均为0，与用户交互时，如果接收到用户添加的指示前景的点击操作，则在指示图相应位置填充一个半径为r，像素值为1的圆点；如果接收到用户添加的指示背景的点击操作，则在指示图相应位置填充一个半径为r，像素值为-1的圆点；

在训练阶段，对于每张训练图像，随机采样若干指定半径大小的前景点或背景点从而生成指示图。

5.根据权利要求2所述的一种基于用户实时点击交互的自然图像抠图方法，其特征在于，通过编码器与不确定度估计模块协同工作，从而估计出不确定度图；

所述不确定度估计网络与蒙版解码器平行，且共用同一个编码器，利用单变量拉普拉斯分布来刻画初步图像蒙版预测，从而估计不确定度图：

其中，μ为初步图像蒙版α_p，σ为不确定度估计模块输出的不确定度图σ_p，x为监督信息α_g；

采用负对数似然最小化方式来训练所述不确定度估计模块：

其中，Ω表示原始图像I的所有像素，i表示像素索引。

6.根据权利要求1所述的一种基于用户实时点击交互的自然图像抠图方法，其特征在于，所述不含下采样的全卷积网络为精修网络，采用困难样本挖掘目标函数来进行训练：

其中，C代表整个像素集，α_p为初步图像蒙版，α_g为监督信息，H代表与相应监督信息误差在整个像素集中排名前K％的困难像素集，λ代表对于困难像素集H的强化权重，i、j均表示像素索引。