[发明专利]一种基于深度前景跟踪的彩色视频抠图方法

说明书

一种基于深度前景跟踪的彩色视频抠图方法，涉及数字图像处理领域，在开始抠图之前，由用户在深度图像上指定前景区域，明确搜索范围。随后在搜索框中，利用前背景的深度信息差，分割出前景目标。将深度图像重建到彩色图像的分辨率并进行配准，使二者逐像素对应，生成三分图；根据彩色图像的颜色信息，对三分图进行精细的调整，根据三分图和彩色图像，利用超像素梯度进行快速的前景提取；最后根据提取出的前景位置，建立和更新运动方程，预测下一帧的前景中心，更新搜索框位置。根据以上步骤，视频抠图即可逐帧完成。本发明与当前的视频抠图算法相比操作大大简化，算法复杂度低，能实现实时、准确的视频前景抠图。

技术领域

本发明涉及数字图像处理领域，具体涉及一种基于深度前景跟踪的彩色视频抠图方法。

背景技术

视频抠图是数字图像抠图在视频上的扩展，即在每一帧中，分别计算出前景、背景和透明度，将前景目标从视频背景中抠出，随即可与任意背景图像合成，营造出逼真的换景效果。

目前实时视频会话抠图往往需要一块纯绿色的幕布作为背景，将人物抠出后与其他背景合成。而复杂背景下的视频抠图则还停留在实验室研究阶段，需要采用关键帧或者三维时空体标记的手段，交互比较复杂，无法实时完成而只能对视频文件做事后处理。在关键帧标记法中，采用人工标记对关键帧的前景和背景分布进行标识，这些标识将采用传播策略传递到其余非关键帧中用于辅助抠图，例如CN102388391提供的前景-背景约束传播抠图、扩展贝叶斯抠图(Chuang Y Y,Agarwala A,Curless B,et al..Video matting ofComplex Scenes[J].ACM Transactions on Graphics(TOG),2002,21(3):243-248)。而三维时空体标记中则将视频看作二维图像和时间坐标上的三维立方体，用户在该立方体中使用简单交互对每帧都进行标记，如交互式视频剪切(Interactive video cutout,Wang J,Bhat P,Colburn R A et al..Interactive video cutout[J].ACM Transactions onGraphics(TOG),2005,24(3):585-594)等。

与单幅图像抠图不同的是，视频抠图应该保证时空一致性，即在同一视频序列中抠出的前景目标是一致的、完整的，同时抠图时间长短也是影响用户体验的关键因素。现有视频抠图策略的缺陷为：需要对视频序列中的某些关键帧帧进行标注，手工交互工作量大；处理时间无法满足实时性要求，算法往往是事后处理；受传播策略影响，局部边缘出现伪影和跳变。

发明内容

为了解决现有技术中存在的问题，本发明提供了一种基于深度前景跟踪的彩色视频抠图方法，利用深度图像作为辅助信息，对前景进行检测、提取和跟踪，保证生成三分图的快速与连续性，随后根据未知区域超像素的梯度，快速选择前背景点对，估计出未知区域不透明度，完成彩色视频的抠图。

本发明解决技术问题所采用的技术方案如下：

一种基于深度前景跟踪的彩色视频抠图方法，该方法包括如下步骤：

步骤一：判断当前帧是否为抠图第一帧：如果是，提示用户对深度图像上的前景目标做出标记，生成前景搜索框；如果否，重新寻找抠图第一帧；

步骤二：在深度图像中，根据步骤一所述的前景搜索框的位置进行前景检索，区分前景和背景；

步骤三：将步骤二所述的，区分出前景和背景的深度图像重建到步骤一中所述第一帧对应的彩色图像的尺度空间中并配准，并根据步骤二的区分结果，生成与彩色图像尺度相同的三分图；

步骤四：根据彩色图像，对三分图进行精细调整，使三分图中值为1的像素对应彩色图像的前景，值为0的像素对应彩色图像的背景，而0～1之间的像素对应前景与背景之间的边缘区域；