[发明专利]一种基于高阶能量约束的视频对象分割算法

说明书

本发明公开了一种基于高阶能量约束的视频对象分割算法，包括以下步骤：将视频帧序列进行超像素分割；根据超像素分割结果，使用高斯混合模型，对预先给定的已标记帧前/背景区域分别进行颜色特征的建模，获得分割数据项；根据分割数据项，结合多种特征,建立时空平滑项；根据分割数据项和时空平滑项，加入高阶能量项；将高阶能量项近似为数据项和平滑项；使用图割算法完成分割。本发明在数据项和平滑项的基础上加入了一种基于SIFT特征的高阶能量约束来保证视频分割的全局一致性，解决了当视频对象是运动的且形状不规则、帧间光流存在明显干扰时，分割效果非常不理想的问题以及高阶能量项优化计算负载过高的问题。

技术领域

本发明涉及图像视频处理技术领域，尤其是涉及一种基于高阶能量约束的视频对象分割算法。

背景技术

视频目标分割是指在视频帧序列中将前景对象与背景分离的过程。目前该领域内已有许多方法解决这种二元分割问题，这些方法可以分为无监督方法和监督方法。前者不需要人工介入，直接输入视频数据；后者则要求人为提供额外的标签数据来进行初始化。这里，通常是将视频帧序列的首帧分割结果作为已知数据输入算法。本发明专利属于后者。

在现有的视频对象分割方法中，基于图割的方法有效地保证了视频对象在帧间的传播。这些方法将每个帧分解为时空节点，从而将分割问题转化为在马尔科夫随机场(MRF)中的二类节点的标记问题。大多数这些方法都是在寻找最优的前/背景标签标记，目的是使视频帧序列的数据项以及平滑项最小化。尽管结果相对较好,但这些方法存在比较严重的问题。比如当视频对象是运动的且形状不规则、帧间光流存在明显干扰时，分割效果非常不理想。

一般来讲，高阶能量项通常包含很复杂的优化过程，所以很难计算出能量优化的解析表达式。通用的解决方案是固定数据项和平滑项的同时去优化高阶能量项，固定高阶能量项的同时去优化数据项和平滑项。但是这将会导致巨大的时间和计算代价。

发明内容

发明目的：为了克服背景技术的不足，本发明公开了一种基于高阶能量约束的视频对象分割算法。

技术方案：本发明的基于高阶能量约束的视频对象分割算法，包括以下步骤：

(1)将视频帧序列进行超像素分割；

(2)根据超像素分割结果，使用高斯混合模型，对预先给定的已标记帧前/背景区域分别进行颜色特征的建模，获得分割数据项；

(3)根据分割数据项，结合颜色、边强度、光流方向和映射比例多种特征,建立时空平滑项；

(4)根据分割数据项和时空平滑项，加入基于SIFT特征的高阶能量项；

(5)通过对MRF图模型添加辅助结点将高阶能量项近似为数据项和平滑项；

(6)使用图割算法完成分割。

其中，步骤(1)中所述超像素分割方法为采用SLIC算法将视频帧序列中每一帧分割成若干个超像素点。

进一步的，步骤(2)中第i帧上的超像素数量为F_i，表示其中第j个超像素，其标签值为如果表示为背景超像素，如果表示为前景超像素；使用期望值最大算法去拟合得到前景高斯混合模型和背景高斯混合模型其中表示超像素点的RGB值，每个超像素点的数据项表示为：

进一步的，步骤(3)中所述时空平滑项包括空间平滑项和时间平滑项，分别用于空间和时间节点的平滑，

所述空间平滑项表示为：

所述时间平滑项表示为：

所述时空平滑项为：