[发明专利]一种视频场景聚类及浏览方法

摘要

本发明涉及一种视频场景聚类及浏览方法，包括以下步骤：镜头边界检测与分割；镜头关键帧提取；镜头间相似度计算；镜头聚类；场景聚类；场景图表示。本发明使用场景聚类，从而得到视频场景层次的内容图结构，获得了基于场景的视频的高层语义信息；并使用二维图结构表述视频结构，为用户提供了一种有引导的非线性视频浏览方式，提高了浏览效率。

主权项

1.一种视频场景聚类方法，该方法包括以下步骤：步骤一、镜头边界检测与分割；读取视频，检测视频中的切变和渐变镜头边界，根据所得镜头边界，将视频分割为多个独立的镜头；步骤二、镜头关键帧提取对于独立的镜头，使用光流法检测视频内容变化，当视频帧内对象运动的距离达到一定阈值时，提取关键帧，得到代表镜头的关键帧集合，所述阈值为视频帧长宽的百分比T_flow；步骤三、镜头间相似度计算对于镜头中提取的关键帧进行SIFT特征点提取，在所有镜头的关键帧集合之间进行关键帧的SIFT特征点匹配，根据匹配特征点数量定义镜头之间相似度，相似度定义如下：Sa,b=-1/Σk=1NaΣh=1Nbc(mak,mbh)Na×Nb]]>其中S_a,b是镜头a、b之间的相似度，N_a、N_b分别表示镜头a、b的关键帧集合中关键帧图像的数量，是镜头a中第k个关键帧图像，是镜头b的第h个关键帧图像，是两幅图像之间SIFT特征点匹配的数量，若小于特定阈值T_num，则设置为0；步骤四、镜头聚类根据上一步获得的镜头之间的相似度，使用信息传递聚类算法对镜头进行聚类，得到若干聚类中心，根据每个镜头所属的聚类中心不同，将所有镜头分为若干个镜头集合，每个集合属于一个镜头类别；在信息传递聚类中镜头自身相似度定义为：Sa,a=1NsΣa≠bSa,b]]>N_s表示全部已有相似度的数量，即将镜头自身相似度S_a,a设置为全部非自身相似度的均值；步骤五、场景聚类根据镜头聚类结果，将在一定窗口T_win即连续T_win个镜头内连续出现切换的镜头类别合并为一类，定义不同镜头类别之间的相似关系如下：S(i，k)＝-1/f(i，k)S(i,k)是镜头类别i,k之间的相似度，f(i,k)是镜头类别i,k之间的切换次数，令镜头类别自身相似度值为S₁，使用信息传递聚类算法对镜头类别进行聚类，得到初步的场景聚类结果；令镜头类别自身相似度值为S₂，以初步的场景聚类结果为输入，重复本步骤上述操作，得到最终的场景聚类结果，其中S₁和S₂为用户设置的整数。