[发明专利]基于物体尺寸自适应的视频浓缩方法

说明书

技术领域

本发明涉及一种视频浓缩方法，特别是涉及一种基于物体尺寸自适应的视频浓缩方法。

背景技术

文献“Y.Pritch,A.Rav-Acha,and S.Peleg,Nonchronological Video Synopsis and Indexing.IEEE Transactions on Pattern Analysis and Machine Intelligence,30(11):1971-1987,2008”提出了一种基于物体的视频浓缩方法。该方法首先通过背景减除算法把活动的物体从背景中识别并提取出来，然后通过在一小段时间内同时展现多个活动物体来压缩原视频的长度。同时，为了使浓缩后的视频不会出现一些不合理的情况，该方法设计了特定的能量函数来限制各个活动物体在浓缩视频的时间轴上的位置。此能量函数主要包括三个惩罚项，而每个惩罚项对应着浓缩视频中一种不合理的情况。这三种不合理的情况分别是活动物体信息的丢失、物体间的相互碰撞遮挡现象和物体间相对时间关系的损坏。通过最小化能量函数的函数值，该方法能够将浓缩视频中的不合理情况降到最低。然而，当原视频的浓缩率较大时，要同时展现出多个活动物体，就会不可避免地产生物体相互碰撞遮挡的现象。

发明内容

为了克服现有视频浓缩方法容易出现活动物体相互碰撞遮挡的不足，本发明提供一种基于物体尺寸自适应的视频浓缩方法。该方法采用聚合通道特征检测算法和背景减除算法对原视频中的活动物体进行检测和提取，可以有效降低前景、背景分离时产生的噪声，从而得到更精确的活动物体分割结果；之后通过设计新的能量函数来确定活动物体在浓缩视频中的时间位置及合理的缩小尺寸，该能量函数除考虑到目前已提出的不合理情况外，还针对物体尺寸的缩小操作加入了尺寸缩小惩罚项，以避免活动物体因尺寸过度缩小而变得难以辨识；最后，该方法采用泊松图像编辑方法将提取出的活动物体按照第二阶段计算出的时间位置和物体尺寸无缝地融合进背景视频中。本发明方法可以有效地减少浓缩视频中活动物体相互碰撞遮挡的情况。

本发明解决其技术问题所采用的技术方案是：一种基于物体尺寸自适应的视频浓缩方法，其特点是采用以下步骤：

步骤一、对于输入视频数据的每一帧合成对应的背景图像，背景图像合成公式为

式中，B表示要合成的背景图像，I表示所选取的视频序列中的一帧，n表示所选取的视频序列的总帧数。

步骤二、使用聚合通道特征检测算法检测原视频中的活动物体，并使用矩形框将每个活动物体标出。使用背景减除算法将每一帧视频与其对应的合成背景相减，根据差值对活动物体进行提取

Diff(x,y,t)＝|I(x,y,t)-B(x,y,t)|(2)

式中，x,y分别是图像像素的横、纵坐标，t是当前帧的帧序号，Diff(x,y,t)表示当前帧中位于坐标(x,y)处的像素与对应背景像素之差的绝对值。若绝对值大于阈值τ，则认为当前像素为前景像素，τ取值为20。

步骤三、各活动物体在浓缩视频中的时间位置和缩小尺寸通过求解特定的能量函数确定，能量函数为

E(M)＝E_a(M)+E_c(M)·E_r(M)+E_t(M)(3)

式中，E表示能量值，M表示活动物体从原视频到浓缩视频的一个映射，所述能量函数由四个惩罚项组成。各个惩罚项的具体如下：

①E_a(M)是活动物体信息损失惩罚项，用来衡量浓缩视频中活动物体信息丢失的程度，其具体定义为

式中，O表示所有活动物体的集合，o表示其中的一个活动物体，o^*表示物体o在浓缩视频中的映射，o'表示属于物体o而没有被包含进浓缩视频的观测序列，Dif(o′)表示当前物体与背景之间的差异。

②E_c(M)是活动物体碰撞遮挡惩罚项，计算的是浓缩视频中物体之间重叠面积的总和，用来评价活动物体相互碰撞遮挡的程度，其具体定义为

式中，α是一个参数，用于调节该惩罚项在整个能量函数中的重要性，p表示不同于物体o的另一活动物体，p^*表示物体p在浓缩视频中的映射，box()表示一个指定物体的边界框，A()表示一块指定区域的面积。

③E_r(M)是活动物体尺寸缩小惩罚项，用来限制物体的过度缩小，其具体定义为