[发明专利]一种基于高阶能量约束的视频对象分割算法

权利要求书

1.一种基于高阶能量约束的视频对象分割算法，其特征在于包括以下步骤：

(1)将视频帧序列进行超像素分割；

(2)根据超像素分割结果，使用高斯混合模型，对预先给定的已标记帧前/背景区域分别进行颜色特征的建模，获得分割数据项；

(3)根据分割数据项，结合颜色、边强度、光流方向和映射比例多种特征,建立时空平滑项；

(4)根据分割数据项和时空平滑项，加入基于SIFT特征的高阶能量项；

(5)通过对MRF图模型添加辅助结点将高阶能量项近似为数据项和平滑项；

(6)使用图割算法完成分割。

2.根据权利要求1所述的基于高阶能量约束的视频对象分割算法，其特征在于：步骤(1)中所述超像素分割为采用SLIC算法将视频帧序列中每一帧分割成若干个超像素点。

3.根据权利要求1所述的基于高阶能量约束的视频对象分割算法，其特征在于：步骤(2)中表示其中第i帧上的第j个超像素，其标签值为如果表示为背景超像素，如果表示为前景超像素；使用期望值最大算法去拟合得到前景高斯混合模型和背景高斯混合模型其中表示超像素点的RGB值，每个超像素点的数据项表示为：

4.根据权利要求1或3所述的基于高阶能量约束的视频对象分割算法，其特征在于：步骤(3)中所述时空平滑项包括空间平滑项和时间平滑项，分别用于空间和时间节点的平滑，

所述空间平滑项表示为：

所述时间平滑项表示为：

所述时空平滑项为：

其中，ε_t为所有的时域对集合，ε_s为所有的空域对集合，λ_s、λ_t是线性组合的权重参数，是第i帧内第j个超像素所对应的颜色和光流方向的串联直方图，是第i帧内第j个超像素所对应的颜色直方图，表示超像素与超像素之间的平均边强度，表示时域对内的像素点的光流映射比例，δ是标准的克罗内克函数，即当v＝u，δ(u,v)＝1当v≠u，δ(u,v)＝0。

5.根据权利要求1所述的基于高阶能量约束的视频对象分割算法，其特征在于：步骤(5)中具体方法为：将SIFT特征聚类成若干类,每个超像素点都可以被表示成一个节点，每个节点包含多个SIFT特征点，每个节点可以用一个SIFT特征直方图来表示；表示超像素点对应的直方图中的第k个bin，即第k个SIFT特征类在超像素点中的特征点个数，H表示直方图的bin的个数；表示前景超像素点中第k个bin的数值之和，表示背景超像素点中第k个bin的数值之和，Ω^k表示所有超像素点中第k个bin的数值之和，有计算得到第k个SIFT特征类前背景的概率值分别为：和最后可以得到每个超像素属于前背景的概率值：和于是高阶能量项表示为其中：

得最终高阶能量项为：

6.根据权利要求1所述的基于高阶能量约束的视频对象分割算法，其特征在于：步骤(6)中使用图割算法完成分割的总体优化公式为：

其中，E(S,L)＝φ_u(S,L)+α×φ_p(S,L)+β×E_h(S,L)，L为所有超像素点标签的集合，S为所有超像素点的集合，φ_u为数据项，φ_p为平滑项，E_h为高阶能量项，α、β是线性组合的权重参数。