[发明专利]一种基于轨迹有向图的视频对象协同分割方法

摘要

本发明涉及一种基于轨迹有向图的视频对象协同分割方法。其具体步骤如下：(1)、输入视频组各个帧序列；(2)、为视频帧产生运动矢量场、初始显著性图和候选对象；(3)、对各个候选对象进行前向后向跟踪，并进行最大化抑制及轨迹分割，形成一组轨迹集合；(4)、构建一个有向有权图，轨迹为图中结点，根据匹配分数建立结点之间的有向边；(5)、将有向有权图转化为无向有权图，利用最大团提取算法提取最大团，计算各个最大团的加权团分数，将加权团分数最大的团对应的轨迹区域作为主要对象区域，进行流行排序算法生成对象级显著性图，最后利用GrabCut得到最终的分割结果；(6)、根据已得到的对象分割结果，更新初始显著性图，重新计算最大团分数，得到其他类的对象。

主权项

1.一种基于轨迹有向图的视频对象协同分割方法，其特征在于，具体步骤如下：(1)、分别输入原始视频组中个第m个视频序列V_m，其中，m＝1,...,M，对视频V_m其中的第t帧记为F_m,t(t＝1,...,N_m)；(2)、利用稠密光流法算法，得到视频帧F_m,t的像素点的运动矢量场，为各个视频帧F_m,t产生初始显著性图IS_m,t，利用候选对象生成方法，为各个视频帧F_m,t产生q个候选对象区域，记为x_m,t,i(i＝1,...,q)；(3)、利用显著性图IS_m,t计算各个候选对象的初始对象分数IOS(x_m,t,i)，对各个视频帧内的各个候选对象区域x_m,t,i分别在整段视频V_m内进行前向以及后向的追踪，产生对应的轨迹X_m,t,i，对产生的轨迹计算初始轨迹分数ITS(X_m,t,i)，并通过初始轨迹分数对产生的轨迹进行最大化抑制以及轨迹分割，最终生成一组轨迹集合X_m,k，其中，m＝1,...M，k＝1,...K_m；(4)、构建一个有向有权图G＝(V,E)，其中，V表示视频组内所有轨迹X_k(k＝1,...,K)的集合，E表示图中结点之间所有有向边的集合，e＝(X_k,X_l)为X_k与X_l之间设置一条有向边，方向由X_k指向X_l；生成该有向有权图的做法为，为每条轨迹X_m,k生成一组临时协同显著性图其中，n＝1,...,M，并基于临时显著性图，为每条轨迹X_m,k计算其他轨迹X_n,l的轨迹分数FTS_m,k(X_n,l)，然后为每条轨迹X_m,k在各个视频的各帧中寻找轨迹分数FTS_m,k(X_n,l)最大的轨迹X_n,l，并在轨迹X_k与X_l之间设置一条有向边，方向由X_k指向X_l；(5)、将有向有权图G＝(V,E)转化为无向有权图G＝(V,E')，利用最大团提取算法提取各个最大团，并计算各个最大团的加权团分数，将加权团分数最大的最大团作为第j类主要对象O_j，对应团内的轨迹的各个区域作为主要对象区域，利用主要对象区域作流型排序，得到对象级的显著性图OS_m,t，利用主要对象区域及对象级显著性图作GrabCut得到最终的细化分割结果；(6)、提取多类对象，根据得到的第j类主要对象的细化分割结果，更新初始显著性图，重新计算最大团分数，得到其他类的对象。