[发明专利]一种双边视频目标分割方法及系统

说明书

本发明公开了一种双边视频目标分割方法及系统，该方法将带关键帧标记的视频序列映射到高维的双边空间，减少待处理的视频数据，然后以非空的网格单元作为图的结点并构建图割优化模型，其关键在于通过分析高斯分布规律构建置信动态外观模型，准确地估计各网格单元属于前/背景的可能性；并在能量函数中引入高阶项，用以增强不相邻但具有相似外观特征的结点的时空相关性；最后，利用最大流/最小割算法求解能量函数，获得每一网格单元对应的标签值，最终实现视频像素点的标签分配。该方法不仅能够很好地消除不利因素对分割的干扰，而且能够快速且高精度地处理具有复杂场景的视频目标分割。

技术领域

本发明涉及视频目标分割技术领域，具体涉及一种结合置信动态外观模型和鲁棒高阶项的双边视频目标分割方法及系统。

背景技术

视频目标分割是从视频中分割出用户感兴趣的目标对象，即把所有像素点划分为具有外观、运动等相关的前/背景时空区域，且是许多高级视觉应用的先决条件，如目标检测、视频检索、安防监控、影视后期制作和智能交通等。

现有视频目标分割方法主要分为全自动视频目标分割方法和交互式视频目标分割方法两大类。前者通常利用基于光流的特征点/区域跟踪、目标建议区域等自动估计视频中的目标对象，再通过聚类、动态规划求解、图割优化等进行问题求解，难以实现高效和高精准分割。交互式视频目标分割方法则需要用户提供适量的交互信息，即在一帧或多个关键帧中标注前景和背景区域，并以此作为“硬”约束条件，从而产生符合用户交互的视频目标分割结果。该类方法通常适用于不要求实时性但对视频目标边界精度要求较高的应用场合，且是目前用于视频目标分割最常见的方法。

通常，不同场景下的视频可能包含相近似前/背景区域、物体遮挡、剧烈运动、模糊边界、相机抖动、光照变化、动态阴影和水流等复杂现象，且视频具有数据量大的特点，这些不利因素也使得现有视频目标分割方法效率低下以及难以获得高质量的视频分割结果。

Marki等人提出的方法(Nicolas Marki,Federico Perazzi,Oliver Wang,Alexander Sorkine-Hornung:Bilateral Space Video Segmentation.CVPR 2016:743-751)首次在双边空间中进行视频目标分割。该方法采用最邻近差值方法将视频数据映射到高维双边空间中，且基于规格采样的双边网格顶点定义图割优化模型，使得能够采用标准的最大流/最小割算法进行全局优化求解，从而最终获得视频目标分割结果。该方法能够快速分割视频目标物体，且能够即时响应用户交互，但由于并未考虑解决鲁棒全局外观模型构建、长并广范围的时空连接等问题，因而难以保证长时间分割结果传播的正确性。

陈亚当等人提出的方法(陈亚当，郝川艳:动态双边网格实现的视频前景分割算法.计算机辅助设计与图像图像学报，2018，30(11)：2101-2107)主要针对视频前景分割技术中前/背景颜色相似、物体遮挡、数据冗余等难点。该方法首先为视频数据构造一个高维的映射空间，且采用循环分割的框架，利用光流法对网格实施更新。这种逐视频帧的处理方法并没有很好地利用视频帧间的时序相关特性，因而当光流估计不准确时，该方法难以获得时空一致的视频目标分割结果。

发明内容

为解决现有技术的上述不足，一方面，提供一种结合置信动态外观模型和鲁棒高阶项的双边视频目标分割方法，采用双边网格技术预处理视频数据，减少了待处理的数据量；以非空的网格单元代替像素点构建图并定义能量函数，实现在高维双边空间中进行视频目标分割，极大地提高了视频目标分割的效率；同时通过构建置信动态外观模型和引入高阶项定义全局图割优化模型，能够产生高精度的视频目标分割结果，可快速且精确地处理具有复杂场景的视频的前景提取任务。

该方法的一种实例如下：

一种双边视频目标分割方法，包括：