[发明专利]对已知摄像机参数和深度信息的视频序列的时空一致性分割方法

说明书

技术领域

本发明涉及视频时空一致性分割方法，尤其涉及一种对已知摄像机参数和 深度信息的视频序列的时空一致性分割方法。

背景技术

视频分割技术是计算机中层视觉领域的基础技术之一，其在物体识别、图 像/视频注解、视频编辑和视频编码等众多领域中有及其重要的应用。这些应用 通常要求视频分割的结果具有很高的时空一致性。

视频分割技术的难点在于分割的结果具有很高的时空一致性。目前单张图 像分割技术在一定程度上能较好地保持空间域分割边界，例如Mean-shift就是一 种经典的基于特征空间聚类的图像分割方法：D.Comaniciu，P.Meer，and S.Member.Mean shift：A robust approach toward feature space analysis.IEEE Transactions on Pattern Analysis and Machine Intelligence，24：603-619，2002.，其他 的经典的图像分割方法还包括Watershed：P.D.Smet and R.L.V.P.M.Pires. Implementation and analysis of an optimized rainfalling watershed algorithm.In IS&TSPIE’s 12th Annual Symposium Electronic Imaging，pages 759-766，2000.。但 是对于一个视频序列来说，现有的视频分割方法都很难达时空域上的高度一致 性。这些方法通常依赖于运动估计来建立相邻帧之间的对应关系，而由于运动 估计的不鲁棒、极易受遮挡影响，会导致区域对应不可靠，从而产生错误或者 多帧之间不一致的分割结果；另外三维场景中区域遮挡情况的存在使得视频分 割问题变得更为复杂难解。

现有的视频区域分割方法主要分为两大类：

1.独立处理空间域和时域上的分割。

此类方法较为典型的是Brendel于09年提出的方法：W.Brendel and S. Todorovic.Video object segmentation by tracking regions.In ICCV，2009.，此方法首 先用低层图像分割技术对每帧图像进行空间域上的分割，然后在时域上利用 circular dynamic-time warping技术进行对应区域的匹配。Siying Liu的方法S.Liu， G.Dong，C.H.Yan，and S.H.Ong.Video segmentation：Propagation，validation and aggregation of a preceding graph.In CVPR，pages 1-7，2008.是一种渐进式的分割 方法，它利用视频序列上一帧图像的分割结果来约束下一帧图像的分割。独立 处理的方法不足之处在于于缺乏准确的二维运动估计，从而影响对应区域的匹 配或传递；另外，复杂的区域遮挡情况也会为区域匹配或传递引入诸多问题。

2.在时空域上进行整体联合分割

此类方法较为典型的是Jue Wang的Anisotropic Kernel Mean-shift方法： J.Wang，B.Thiesson，Y.Xu，andM.Cohen.Image and video segmentation by anisotropic kernel mean shift.In ECCV，pages 238-249，2004.以及Greenspan的方 法：H.Greenspan，J.Goldberger，and A.Mayer.Probabilistic space-time video modeling via piecewise GMM.IEEE Transactions on Pattern Analysis and Machine Intelligence，26(3)：384-396，2004.这些方法都是将视频作为一个整体时空域数据 进行Mean-shift或者GMM等聚类处理。联合处理的方法的缺点在于它不能处理 大幅度运动和严重遮挡的情况；庞大的数据量亦使得这类方法严重开销内存， 不适用于长视频序列处理。

发明内容

本发明的目的在于针对现有“视频分割技术”的不足，提出一种对已知摄像机 参数和深度信息的视频序列的时空一致性分割方法。