[发明专利]基于超像素分割的交互式视频前景对象提取方法

说明书

技术领域

本发明涉及视频编辑技术领域，特别涉及一种基于超像素分割的交互式视频前景对象提取方法。

背景技术

图像与视频的高效编辑是计算机图形学里重要的研究课题。与图像相比，视频的数据量更大且结构内容复杂，因而视频编辑比图像编辑更具挑战性。视频编辑是影视后期制作、广告合成中重要的技术手段。目前已有的著名的视频编辑工具有专业级的Adobe Premiere、Ulead MediaStudio以及免费的VirtualDub。

视频前景对象的分割是视频编辑中一个重要且基础的问题，近些年来得到了广泛的研究。由于视频中背景的复杂程度和前景的运动具有任意性，因此没有一种方法可以自动地分割出所有类型的视频中的前景对象。交互式的视频前景对象分割，即用户给定少量的交互信息，算法通过这些信息自动地分割出前景对象，并且给用户及时的反馈，用户根据反馈信息再进行优化。交互式的视频前景对象分割方法中，用户交互的复杂性、算法响应快慢以及分割效果是评价一个交互式方法的准则。

目前已有的较为著名的交互式视频分割方法有Bai Xue等人在2009年提出的“Video Snapcut”以及Zhong Fan等人在2012年提出的“Discontinuity-Aware Video Object Cutout”等。“Video Snapcut”方法采用了基于多种特征的局部分类器，用户首先对关键帧进行交互式分割，该方法可以根据关键帧在前景边界上的特征自动地将分割结果传播到后续帧。但是该方法一般只能在较短的时间间隔内有比较好的效果，当场景的前景和背景颜色比较相似，前景对象的边界发生拓扑变化以及前景对象发生快速运动时，基于传播的方法很难得到较好的结果，因此需要较多的用户交互对每帧的结果进行修正。

该领域目前国内相关专利有：一种用于视频对象快速提取的交互方法（申请号201110219610.7）。

发明内容

（一）要解决的技术问题

本发明要解决的技术问题是：如何快速地通过用户的交互信息准确地提取出视频序列中的前景对象。

（二）技术方案

为解决上述技术问题，本发明提供了一种基于超像素分割的交互式视频前景对象提取方法，包括以下步骤：

S1：对视频序列的每一帧进行下采样，然后进行基于超像素的预分割；

S2：对预分割的结果进行基于超像素的视频对象交互式提取的计算；

S3：将交互式提取计算出的分割结果上采样到原视频分辨率，并对分割结果的边缘进行细化。

进一步，所述基于超像素的预分割包括以下步骤：使用均值漂移算法对每一帧进行预分割，颜色相近的像素聚成一类，形成一个超像素。

进一步，所述基于超像素的视频对象交互式提取的计算包括如下步骤：根据用户输入的表征前景对象的笔画构建一个三维的图模型，然后使用图割方法计算前景对象区域。

进一步，当所述用户输入的表征前景对象的笔画长度超过一个设定阈值后才对所述三维的图模型进行更新，并使用图割方法重新计算前景对象区域。

进一步，对所述分割结果的边缘采用抠图方法进行细化。

（三）有益效果

本发明对每一帧图像进行预分割，使颜色相近的像素聚成一类，形成一个超像素，同时为了加快计算速度，使用户能够实时看到分割结果，本发明采用了两个策略来加速：一方面通过先对视频序列进行下采样，然后在低分辨率下计算分割结果，然后再上采样到高分辨率下对分割结果进行边缘细化，从而极大地减少计算量。

附图说明

图1是本发明实施例的一种基于超像素分割的交互式视频前景对象提取方法流程图；

图2是步骤S1中基于超像素进行预分割后的结果；

图3是步骤S2中根据用户输入的交互信息计算出的前景结果，其中左图用线框内表示前景对象，右图用白色区域表示前景对象；

图4是步骤S3对分割边缘进行细化后的分割结果，其中左图用线框内表示前景对象，右图用白色区域表示前景对象。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

如图1所示，为基于超像素分割的交互式视频前景对象提取方法的一个实施例的处理流程图，包括：