[发明专利]一种基于多层超图模型的多视频目标协同分割方法

摘要

本发明公开了一种基于多层超图模型的多视频目标协同分割方法，属于计算机视觉领域，本发明针对视频中包含较多非相关帧的视频，引入全卷积神经网络得到的分割结果作为超边构造的语义特征，在视频的每一帧生成若干潜在目标区域，利用视频内和视频间的相关关系，得到可靠目标区域，作为高层特征并构造高层目标模型；利用外观、光流以及显著性检测方法，提取视频帧的相关特征作为低层特征，并构造低层目标模型。利用低层模型和高层模型共同构造超图，最后利用超图分割算法，实现视频目标分割，提升了分割准确率。

主权项

1.一种基于多层超图模型的多视频目标协同分割方法，其特征在于，包括如下步骤：步骤1：超图结点表示：1)利用过分割算法对视频的每一帧进行处理，得到的超像素作为超图的结点；2)对拉普拉斯矩阵进行特征值分解，将相同属性超图的结点聚类到同一个超边中；分别由高层目标模型和低层目标模型计算得到；步骤2：高层目标模型构造超边：1)利用基于类别独立的潜在目标区域生成方法，在视频的每一帧生成若干个潜在目标区域；对每一个潜在目标区域设置分数，其目标分数O(rm)利用运动、外观和语义信息计算得到；2)根据潜在目标区域目标分数O(rm)对每一视频帧的潜在目标区域排序，挑选前M个潜在目标区域融合得到一个备选目标区域；3)利用k‑means聚类算法，将同一类视频中所有视频帧的潜在目标区域进行聚类，得到两组集合，即可靠集合Qb和不可靠集合Qu；4)利用可靠集合Qb中包含的备选目标区域分别对应的前M个潜在目标区域作为正样本，其余潜在目标区域作为负样本，训练一个线性SVM分类器，其中潜在目标区域的特征提取利用Resnet的fc7层特征；5)利用SVM分类器对于所有的原始潜在目标区域进行测试，得到每一个原始潜在目标区域rm的分类分数Oc(rm)；利用该分类分数，重新优化视频目标分数O(rm)←O(rm)+Oc(rm)；6)根据优化后的视频目标分数，对于每一视频帧，重新挑选前M个潜在目标区域，融合得到可靠目标区域，作为超边构造的高层特征；步骤3：低层目标模型构造超边：1)利用外观特征构造超边：首先获取视频帧中每个超像素的Lab值，计算每个超像素的外观特征Pc；基于所述外观特征Pc，定义超图的任意两个结点p和q之间的相似度矩阵；2)利用运动特征构造超边：一个超像素的运动由超像素的运动强度Pu和运动角度Pd表示，为Pm＝(Pu,Pd)，由一个超像素中包含的所有像素的运动平均值得到；基于运动特征，定义超图的任意两个结点p和q之间的相似度矩阵；3)利用显著性特征构造超边：任意超像素的显著性值Ps，由该超像素所包含的所有像素的平均显著性值计算得到；基于显著性特征，定义超图的任意两个结点p和q之间的相似度矩阵；步骤4：超边权重：根据超边的权重越大，表示超边内的结点相似程度越高，且与其它超边包含的结点相似程度越低的特点，定义超边e的权重w(e)；步骤5：超图分割：1)将超图的所有结点分别划分至前景目标集合或背景集合中，即为超图的标准二划分；类似于标准割，超图的标准二划分的最小化问题是一个NP完全问题，它可以松弛化为实值优化问题；采用谱分析的近似算法，定义超图的拉普拉斯矩阵；2)超图拉普拉斯矩阵的最小非零特征值对应的特征向量即为该实值优化问题的最优解，超图的二划分结果即为最终目标分割的结果。