[发明专利]一种基于线裁剪的视频浓缩方法

摘要

本发明属于视频浓缩技术领域，具体一种基于线裁剪的视频浓缩方法。视频浓缩是指对视频进行时间上的压缩，使在较短的时间中尽可能对原视频中的细节进行描述，去除视频时间域上的冗余信息，从而赋予用户快速浏览无尽的监控视频的能力。本发明方法使用线裁剪对视频Tube进行裁剪，从而减少视频在时间域的长度；在裁剪过程中，使用光流更新视频Tube的能量图，并且根据关于视频Tube能量图的分析结果，设置裁剪终止的准则，从而对每个tube，在保证视频连贯性的前提下，尽量地压缩视频tube的持续时间，最终达到有效视频浓缩的效果。实验结果表明，本发明方法在较好地保持对物体运动描述的基础上，可以有效实现视频时间域上的压缩。

主权项

 一种基于线裁剪的视频浓缩方法，是基于线裁剪技术的，其特征在于具体步骤如下：（1）视频管的提取首先，从原始视频中提取视频管；提取视频管后，便获得包括每个物体运动的开始帧、每一帧中物体的边界与持续时间这些信息；通过这些信息，为每一个物体创建一个视频掩膜，视频掩膜的长度为该物体运动的持续时间，而每一个像素的值为：其中，i为视频管编号，x, y为像素的空间坐标，t为帧数，bboxi为该视频管的边界框；（2）视频管的运动浓缩首先，对视频掩膜和视频管进行转置，并根据视频管的光流和梯度信息生成能量图；然后，基于该能量图对转置后的视频管和视频掩膜进行同步线裁剪，裁剪后再将其进行反转置；（3）物体粘贴把提取原始视频的背景和裁剪后的视频管进行粘贴，从而生成浓缩后的视频；所述步骤（2）中对转置后的视频管和视频掩膜进行同步线裁剪，其内容包括：（a）将视频的三维问题转化为二维问题，对x‑t或y‑t平面进行线裁剪；（b）以光流作为线裁剪的初始能量值；（c）对能量图修正；（d）设立线裁剪的终止准则；所述对x‑t或y‑t平面逐个视频管进行线裁剪的具体过程为：将线裁剪应用到视频的x‑t方向，对视频的时间域进行修改,不断地应用线裁剪，便可用较少的图像变形得到被缩小的图片；在y‑t情况下，这个线裁剪的性质依旧成立；首先，将线裁剪作用到视频的x‑t方向，Seam 线将切割光流较小的区域；这样，在时间域上变化较大的像素便会被保留而光流值较小的像素便会被切割；即：在每一个视频管上应用线裁剪后，较小的运动将会被更多的浓缩，而较大的运动将会被保留；同样，将线裁剪作用到视频的y‑t方向；所述对能量图修正，是对裁剪后能量图中的光流值进行修正，即将周边像素的光流值加上到seam线的位移来完成能量图的修正；所述线裁剪的终止准则如下：定义一个值d，d表示每行运动物体时间域上的长度；分别计算每行的d值并对其取平均数，将其定义为D；D值代表运动物体在给定位置上的时间域跨度；当线裁剪进行时，D值将会随着物体的运动被消减而不断减小；用户可设定一个阈值Th，当D值降低到这个阈值Th时便不再进行线裁剪，这样用户便可以自定义视频浓缩的比率；所述同步线裁剪，是指在物体视频片断生成能量图之后，同时对两个视频片断进行裁线剪，称之为同步过程；在物体视频中删去一条seam线时，相同位置的像素也应该在视频掩膜中被删除；所述两个视频片断是指与运动物体有关两个视频片断：一个是在上述过程中使用的视频管，另一个即所创建的视频掩膜。