[发明专利]基于超图主集聚类的多视频摘要获取方法

权利要求书

1.一种基于超图主集聚类的多视频摘要获取方法，其特征是，首先构建视频关键帧内容节点超图，通过二分类的主集聚类得到候选关键帧集；然后利用网页图片与视频集在同一事件主题下的共性关系，得到与主题相关性程度高且冗余性小的关键帧集；最后通过视频帧在视觉上的连贯性对关键帧集进行排序，实现多视频摘要的获取；构建超图模型，关联矩阵H(v,e)定义如下：

A_S＝H*W*H′–Dv (2)

其中A(i,j)＝exp(-dis(v_i,v_j))，v_i是属于超边e_j的任意顶点，v_j是超边e_j的中心点，dis(v_i,v_j)为顶点v_i到超边中心点v_j归一化后的距离，超边的权重w(e_i)定义为顶点的度定义为d(v)＝∑_e∈Ew(e)·h(v,e)，顶点的度和超边权重构成的对角线矩阵分别称为顶点度矩阵D_v，超边权重矩阵W，A_S为(2)式中得到的邻接矩阵；

二分类的主集聚类是通过迭代求解二次方程将图划分为不同主集，具体表示如下：

max f(x)＝x^TA_Sx (3)

s.t.x∈Δ (4)

其中,称作Rⁿ上的标准单纯形，另外式(3)中的目标函数提供了一个集群的凝聚力的度量，f(x)表示相应簇的内聚性，向量x的支持集被定义为向量x中非零元素的下标集合，即σ(x)＝{x∈V:x_i＞0}，那么主集与二次型(3)的局部解之间就建立了联系，因此通过求解二次型的局部最大值来求解主集，最直接的求解方法就是繁殖方程法，其复制动态方程由(5)式表示：

网页图片和视频集在同一主题下存在共性关系，通过网页图片对聚类得到的候选关键帧进行选择得到主题相关性程度高且冗余性小的关键帧集，设计如下目标函数：

其中，m表示关键帧集合帧的个数，F_m代表已选择的关键帧集合，Q为同一主题查询的网页图片，保证了关键帧的主题相关性,g表示已经得到的关键帧集合中的某一帧，sim(s_i,g)代表要选定的帧和得到的关键帧集合中某一帧g的余弦相似性，保证关键帧集合F_m的新颖性，λ是用来平衡这两项性质的参数。

2.如权利要求1所述的基于超图主集聚类的多视频摘要获取方法，其特征是，二分类的主集聚类具体地，X＝{x₁,x₂,…,x_n}表示给定事件的n帧的特征集，其中利用主集聚类对给定事件的视频帧集进行聚类：

1)输入超图G＝(V,E,H)及其得到的邻接矩阵A_S,V为特征集X的顶点集合，E为超边集合，H为超图关联矩阵；

2)初始化迭代次数t＝1并初始化向量X(t)＝[(1/n),(1/n),…,(1/n)]_n×1,n表示的是n帧特征集；

3)计算

4)输出一个簇，其顶点是矢量X(t)的正分量x_i(t)按降序排列，并让第一顶点代表这个簇；

5)从特征集X中删除这些顶点及其在超图中的亲和力关系；

6)转到步骤2)重复此过程直到将所有视频帧分类完毕，得到最终分类结果Cluster 1到Cluster k。

3.如权利要求2 所述的基于超图主集聚类的多视频摘要获取方法，其特征是，得到候选关键帧的具体步骤是，同一个类别C_i中的视频帧具有相似的视觉或语义内容，因此首先从每类中选取一帧作为候选关键帧，其规则为从每类中选取距离该类平均特征向量距离最近的一帧作为候选关键帧，即：

其中表示C_i中视频帧的特征向量的中心值，a表示C_i中任意一个特征向量，通过式(6)得到主集聚类得到的候选关键帧集合S＝{s₁,s₂,…,s_k}，s_i表示第i类视频帧的聚类中心。