[发明专利]一种基于线裁剪的视频浓缩方法

说明书

技术领域

本发明属于视频浓缩技术领域，具体涉及一种视频浓缩方法。

背景技术

自从上个世纪，数以千万计的监控摄像头被部署在了例如火车站、飞机场等交通枢纽处以及各种交通路口，并在不断产生着大量的监控视频。在数字化的时代，监控视频的数量更是爆发性地增长。在城市的大街上，每个摄像头都在24小时全天候的进行着录像，很多监控视频根本从未被观看过。视频的冗长也给回溯带来了很大的困难。由于监控摄像头越来越便宜、越来越容易部署，监控网络不断地变得密集，使得人员监控的难度不断上升，需求的存储空间也不断增大。因此对解决监控产生的各种不便而诞生的各种算法引发了各界的极大兴趣并已成为当今多媒体信息处理领域的一项研究热点。

视频浓缩是对视频进行时间上的压缩，在较短的时间中对尽可能对原视频中的细节进行描述，去除视频时间域上的冗余信息。视频浓缩技术令监控视频拥有更大的信息量，它赋予了用户快速浏览无尽的监控视频的能力，加入视频检索技术后，更能对用户关于某个物体在原视频中出现的时间等问题进行应答。这时的浓缩视频更充当了原监控视频索引的角色。

该技术相对传统的视频监控技术拥有强大的优势：

（1）存储空间：由于是监控视频，摄像头必须全时间进行监控，导致了每分每秒都会有无穷的监控视频的产生，给存储带来了巨大的压力。通过视频浓缩技术，我们可以在编码方式等其他因素相同的情况同时将原视频的尺寸大小地缩小，从而节省了大量的存储空间。

（2）快速浏览：在传统方法中对监控视频的回放浏览是一件让人头疼的事情，快放可能会损失重要信息，而等待漫无止境的监控视频播放也令人厌恶，通过视频浓缩后，大量冗余信息被去除，保证了每一分每一秒都是重要信息，从而使得回放效率大幅度提高，也降低了通过监控视频回溯重要信息的难度。

现在大致有这几种算法来解决这个问题：

（1）快进，以固定比率将帧直接跳过来达到浓缩的目的。

（2）关键帧提取。

（3）蒙太奇，将相关视频片断进行排列来缩短视视频长度。 

以上几种算法各自有不同的优缺点，其中第一个与第二个算法对视频中物体的动态无法较好的保存，而第三种方法也存在着瓶颈，而本发明提出的方法可以在大幅度缩短视频长度的同时保持运动物体的运动。

发明内容

本发明的目的在于提供一种可以在大幅度缩短视频长度的同时保持运动物体运动状况的视频浓缩方法，以便有效地完成对视频的处理，为各项应用提供方便。

本发明提出视频浓缩方法，是基于线裁剪(seam carving)技术的，如图1所示，具体步骤如下：

（1）视频管(video tube)的提取 

首先是使用现有的各种方法（比如[1,2]）从原始视频中，提取视频管(video tube)，生成视频掩膜(video mask)。在提取tube后，便获得了包括每个物体运动的开始帧、每一帧中物体的边界与持续时间等重要信息。通过这些信息，为每一个物体创建一个视频掩膜(video mask)。视频掩膜的长度为该物体运动的持续时间，而每一个像素的值为：

其中i为tube编号，x, y为像素的空间坐标，t为帧数，bbox为该tube的边界框。

（2）视频管的运动浓缩

首先，对视频掩膜和视频管进行转置，并根据视频管的光流和梯度等信息生成能量图。然后，基于该能量图对转置后的视频管和视频掩膜进行同步线裁剪，裁剪后再将其进行反转置。

（3）物体粘贴

最后一步是：把提取原视频的背景和裁剪后的视频管进行粘贴，从而生成浓缩后的视频。粘贴的具体方法可以参考文献[3]。

本发明第二步骤（2），具体来讲：为了使浓缩后的视频更短，需要将每一个物体的运动进一步进行浓缩。通过浓缩，可以减少运动不显著的区域，而更多地保留运动显著的区域。例如，可以将慢速的运动进行浓缩而对快速的运动进行保留。根据边界框与tube所提供的信息，可以为每一个tube从原视频中提取出一个对应的视频片断，这个片断中仅包括该物体。本发明基于线裁剪（seam caving）可实现对于每个tube的初步浓缩。其内容包括：

（a）将视频的三维问题转化为二维问题，对x-t（或y-t）平面逐个tube进行seam caving； 

（b）以光流作为seam caving的初始能量值；

（c）对能量图修正；

（d）设立线裁剪的终止准则。