[发明专利]一种产生视频大纲的方法和系统

说明书

技术领域

本发明涉及图像处理技术领域，进一步涉及视频摘要领域。

背景技术

视频摘要是从文本摘要引申出来的一个概念，文本摘要是对一篇文章或者一段文字的简要总结，所以视频摘要就是要对一段较长的视频内容进行相关技术的处理得到一个简要的总结，也就是以自动或者半自动的方式对视频的结构和内容进行分析，把原视频中的有意义的部分提取出来，然后再以某种方式进行组合，形成一个简洁但是能充分表现视频内容的概要。这个总结可以是以文本形式来表示的，也可以是一些静止的图片或者一段比原视频短的视频，现在大部分的视频摘要技术都是以后者来进行表示。

传统的视频摘要技术根据摘要的表现形式的不同主要可以分为两大类：静态的视频摘要，又称为视频概要(Video Summary)，主要是以静态的方式来表现原视频的内容，如标题、关键帧、幻灯片、场景转换图(STG)等；动态的视频摘要，又称为视频缩略(Video Skimming)，它是以动态的视频序列来表现原视频的内容，它本身就是一段比原视频短的视频，有些还有带有原视频中的音频。视频概要通常只考虑了视觉信息，以单一静止的视频帧或者文字来表示一段视频，优点在于实现简单，现有商用的系统大部分都是采用该方法，如各大视频网站都会给每个视频配一幅该视频中的图片来标记该段视频。但是视频概要极大的损失了视频的表现力，不符合用户的感知习惯，视频缩略在一定程度上弥补了这一缺点，但是视频缩略的算法都比较复杂，难以实现自动提取，人工合成的成本很高，目前视频缩略的方法最常见于专业的影视行业的片花制作中。

传统的视频摘要技术忽略了很重要的一个方面，即空域-时域之间的结合。正如摘要的定义，视频摘要的目的在于在有限的空间和时间范围内提供给用户尽量多的信息以展现重要的视频的内容。但是目前研究人员关注最多的是如何在时间轴上选择视频帧，并将它们排列起来展现给用户。他们理所当然地将视频帧作为一个不可分割的最小视频单元。其实这忽略了视频本身就是一个由两维的空间和一维的时间组成的三维的流。同时，在这个三维空间中，视频信息的分布是不均匀的。目前所有的视频摘要研究都只是针对的视频信息在时间轴上的不均匀性，却忽略了视频在空间域上也是非均匀分布的。

针对目前视频摘要算法存在缺点，Alex Rav-Acha等人提出了视频大纲(Video Synopsis)方法，该方法把视频看做是一个在时域-空域上统一的3维体，不仅考虑视频在时间维上的信息不均匀性，也考虑了视频在空间上同样存在信息的分布不均匀。该算法首先对视频中的有效信息-运动物体进行分析，抽取出运动物体，然后把这些运动物体在重建的背景上进行重新的排列组合，充分利用每一帧的空间，重新融合成一段视频大纲，生成后的视频大纲比原视频要短得多，但是包含了原视频中几乎所有的有效信息。视频大纲的算法流程可以用附图1所示。

首先进行运动物体的检测，如附图1中的101，对每一帧中的每一个像素检测其属于运动物体还是属于背景。

然后进行运动物体的跟踪，并生成轨迹，如附图1中的102。在此步骤中进行运动物体的分割，并对每个运动物体进行跟踪，生成各自的运动轨迹。

运动物体轨迹生成后，进行运动物体的重新的排列组合，如附图1中的103，即把所有的运动物体轨迹在时间轴上进行重新排列。排列运动物体本质上是找到一个时间域上的映射M，把这些运动物体从原视频帧中的时间位置映射到输出视频中的另外一个时间位置，由于视频大纲保持运动物体在空间上的不变，所以该映射只作用在时间轴。该模块算法如下：