[发明专利]一种基于对象内容的双层监控视频摘要生成方法

说明书

技术领域

本发明涉及一种基于对象内容的双层监控视频摘要生成方法。

背景技术

视频摘要，就是以自动或半自动的方式，通过对视频的结构和内容的分析，从原视频中提取有意义的部分，将它们以某种方式合并而成的紧凑的、能充分表现视频语义内容的视频浓缩。根据表现形式的不，视频摘要可分为静态的视频摘要和动态的视频摘要两类。

静态的视频摘要，是从视频流中抽取或生成的有代表性的图像。即通过一系列关键帧组成相应的语义单元，概括表示视频镜头的内容，如标题、故事板、幻灯片等。目前国内外静态视频摘要的研究主要是基于关键帧，即从原始视频中提取的按照一定顺序和一定形式排列的多帧代表帧图像序列给用户提供视频的总体描述，在浏览中也可以方便地定位到用户感兴趣的部分。基于关键帧的视频摘要的最小单位是“帧”，存储空间较小且方便传输，但并不能完整表示每个目标的完整行为运动轨迹，不利于视频目标检索；同时，帧选择依赖于阈值的选择；计算量大，不能做到实时处理。

动态的视频摘要，是图像序列及其伴音的集合，它本身也是一段视频，但比原视频要短得多。监控领域动态视频摘要发展到现在主要是基于对象的视频摘要。这种方法可以大大缩短视频长度，方便用于对视频的观看、分析和检索。基于对象的视频摘要的最小单位是“对象”，最大限度的减少时间-空间冗余，且为视频检索等上层开发提供对象结构，能在监控安防中快速响应紧急事件，定位到事件相关“对象”，但存在处理复杂，摘要生成困难的问题。但现行的基于对象的视频摘要系统存在难以处理大视频文件、目标轨迹组合最优解求解困难且耗时过长，轨迹间冲突较大，目标轨迹融合痕迹明显、不能生成高层视频语义特征的问题。

发明内容

本发明的目的在于提供一种能处理大视频文件，且目标轨迹组合最优解求解简单，并能生成高层视频语义特征的一种基于对象内容的双层监控视频摘要生成方法。

本发明一种基于对象内容的双层监控视频摘要生成方法，其包括如下步骤：

1)读入原始视频帧后将原始视频分段为静态视频段、目标密集视频段和摘要基本段落；

2)步骤1)得到的摘要基本段落与目标密集视频段分别进行基于多特征融合的运动目标检测与跟踪，来获得该视频段内的目标的轨迹序列集合；

3)利用融合记分板方法完成对于摘要基本段落的目标轨迹序列集合与最佳背景模型之间的轨迹融合；

4)通过轨迹融合后得到摘要结果帧序列为该段摘要基本段的摘要视频，按照步骤1)分割顺序将这些视频段落依次合并，输出为摘要视频；

5)根据摘要视频的轨迹序列，生成可供用户搜索的语义摘要信息。

在上述技术方案的基础上，所述步骤1)包括，

(1)对原始视频帧进行混合高斯背景建模，得到原始视频帧对象场景的背景模型序列及运动前景帧序列；

(2)对原始视频每帧对应的运动前景帧计算运动率对每一视频帧对应的运动前景图像计算运动率sat(k)；

sat(k)=Σi,jFG(i,j,k)W*H]]>

FG(i，j，k)为第k帧前景图像第i行j列的像素值，W与H为前景图像的宽和高；

(3)计算每一运动前景图对应的视频帧的动静标记R(k)，T_q为静止阈值，则视频帧存在{0...0，-1...-1，0...0，-1...-1...}的连续0与连续1的动静结构，提取连续的0与连续的1分别划分为{Q₁，M₁...Q_i，M_i...}这样的动视频段M_i与静视频段Q_i；