[发明专利]一种基于稀疏时变图的幻灯片切换检测方法

说明书

本发明公开了一种基于稀疏时变图的幻灯片切换检测方法。对多摄像机拍摄的有演讲者，幻灯片和观众的演讲视频，首先通过特征点检测和匹配将视频分段，通过对每个时间点将每段视频作为节点建立稀疏图，可以将幻灯片切换检测问题转化为推测图邻接矩阵问题。邻接矩阵间的变化反映出了幻灯片切换。本发明是一种准确性更好的克服演讲视频有镜头移动、演讲者移动和多个PTZ镜头切换干扰的方法，利用每个时刻推断出的邻接矩阵，得到的检测结果没有出现检测到人以及人和幻灯片切换的问题。并且比现有方法精确度高，扩大了可处理的演讲视频种类的范围。

技术领域

本发明涉及一种演讲视频幻灯片切换检测方法，尤其涉及一种基于稀疏时变图的幻灯片切换检测方法。

背景技术

现在，在线学习已经成为了一种很重要的获取知识的方法。由于演讲视频的可视性、方便性以及能传递丰富的信息的特性，使它成为目前知识分享和学习的重要手段。人们能够通过网络免费获取演讲视频并进行学习。然而，由于消费类电子设备的普及以及互联网的发展，带来了视频数据的爆炸式增长。例如，视频分享网站YouTube的视频总数据量已达到拍字节数量级(1PB＝106GB)，而且还在以每分钟300小时的上传量不断递增。如果对这些视频不加筛选与总结就直接呈现给用户，那么用户会把大把时间浪费在无用的信息上面。例如，当用户想要回顾之前演讲中的某一特定部分时，他可能会回去浏览整个演讲视频或者多次的向前、向后播放来寻找该部分的位置。因此为了让用户根据自己的喜好选择视频，有必要对视频进行基于内容的浓缩与提炼。此外，结构化的内容在形式上更加简洁，提取演讲视频内容后可以对该视频建立标签，关键词等特性，从而方便网站后台根据视频特征建立易于检索的数据库。

在演讲视频摘要问题中，幻灯片切换检测是很重要的研究课题。演讲视频分为多种，例如，通过单个PTZ相机同时拍摄了包含了投影幻灯片和演讲者的视频，有的直接记录电脑屏幕作为视频，或者两者结合，从PTZ相机直接切换到电脑屏幕。在记录过程中，幻灯片内容可能会发生切换，而用户不得不看整个视频才能发现这些切换点。有很多干扰会导致视频帧之间发生变化，如相机平移，相机转换和演讲者移动。因此很难从这些干扰中判断视频是否发生了幻灯片切换。

现有技术提出的方法通常是比较相邻帧之间的视觉相似度来提取幻灯片切换帧。通过比较图像特征，例如颜色直方图，SIFT特征和小波特征来描述外观相似度。如果视频中包含噪声干扰，如人物移动和相机移动，就会极大的影响到检测精度。为了客服这种干扰，很多改进算法被提出。例如一种追踪匹配特征点轨迹的方法检测幻灯片切换，但是这种方法无法处理相机切换的情况，应用受到限制。

发明内容

本发明的目的在于克服现有技术的不足，提出一种基于推断稀疏时变图的方法检测演讲视频幻灯片切换。该方法能有效处理多镜头切换下的幻灯片切换检测问题。

为实现上述目的，本发明采用如下技术方案：

一种基于稀疏时变图的幻灯片切换检测方法，包括以下步骤：

步骤1：视频分段：提取各视频帧的SIFT特征点，将视频帧与当前段首帧的特征点匹配，若相似度高于m，则认为图像匹配，归于同一段；其中，m为判断两视频帧是否相似的阈值。通过特征点匹配将视频分段，视频分段后，用相同长度的稀疏矢量表示图像，矢量非零值位置表示图像属于该段；

步骤2：定义图Gⁱ＝(V,Eⁱ)，i∈{1,…,N-1}，N是帧总数；图G包括顶点集V和边集E，顶点集由步骤1产生的各视频段组成，边集中的非零值表示顶点集中各点相互转换；

步骤3：推断稀疏时变图：建立图模型并利用最大似然估计方法推断稀疏时变图；

步骤4：图全局优化：满足邻接矩阵需要满足最大似然估计，非零值有限，邻近帧时域一致这三个条件。