[发明专利]基于代表性特征的视频摘要提取方法及其系统

摘要

一种基于代表性特征的视频摘要提取方法及其系统，包括：事件提取模块、事件聚类模块、代表性事件选取模块和事件快照模块，通过事件提取模块对视频中的每一帧图像进行前景块提取和筛选，得到视频中所有的前景块序列，将每个前景块序列作为视频的一个事件；然后通过事件聚类模块对事件进行聚类，并通过代表性事件选取模块根据代表性特征值对各事件类选取代表性的事件；最后通过事件快照模块对每个代表性事件制作快照得到视频的摘要；本发明设计合理，可以快速有效提取视频中的信息。

主权项

1.一种基于代表性特征的视频摘要提取方法，其特征在于，通过对视频中的每一帧图像进行前景块提取和筛选，得到视频中所有的前景块序列，每个前景块序列作为视频的一个事件；然后对前景块序列进行聚类，并根据代表性特征值对聚类得到的每一类前景块序列选取代表性的前景块序列；最后通过对每个代表性前景块序列制作快照得到视频的摘要；所述的代表性的前景块序列为通过暴力搜索的方法得到每一前景序列类中代表性特征值最大的前景块序列，其中：代表性特征值包括前景块序列的质量信息、大小信息和与聚类中心的距离信息；所述的代表性特征值φ(R(u,v))＝λcφc(R(u,v))+λsφs(R(u,v))+λdφd(R(u,v))，其中：R(u,v)是起止帧分别为第u帧和第v帧的前景块序列，λc、λs和λd为权重因子，φc(R(u,v))为前景块序列(R(u,v))的质量，φs(R(u,v))为前景块序列(R(u,v))的大小，φd(R(u,v)为前景块序列(R(u,v))与聚类中心的距离；所述的前景块序列的质量其中：B_k为前景块序列R(u,v)的第k个前景块，H(B_k)为前景块B_k的质量，N为前景块序列R(u,v)中前景块的个数；所述的前景块的质量其中：h(i)为前景块B_k灰度化之后像素值为i的像素点的个数，|B_k|为前景块B_k中像素点的个数；所述的前景块序列的大小其中：s(B_k)为前景块B_k的大小，var(s(B_k))为前景块序列R(u,v)中前景块大小的方差；所述的前景块序列与聚类中心的距离其中：G_a为结果聚类得到的一类前景块序列，R(u,v)与R(u’,v’)为前景块序列类G_a中两个不同的前景块序列，|G_a|为前景块序列类G_a中前景块序列的个数，D(R(u,v),R(u’,v’))为两个前景块序列R(u,v)和R(u’,v’)之间的距离。