[发明专利]基于物体尺寸自适应的视频浓缩方法

摘要

本发明公开了一种基于物体尺寸自适应的视频浓缩方法，用于解决现有视频浓缩方法容易出现活动物体相互碰撞遮挡的技术问题。技术方案是采用聚合通道特征检测算法和背景减除算法对原视频中的活动物体进行检测和提取，再通过设计新的能量函数来确定活动物体在浓缩视频中的时间位置及合理的缩小尺寸，该能量函数除考虑到目前已提出的不合理情况外，还针对物体尺寸的缩小操作加入了尺寸缩小惩罚项，以避免活动物体因尺寸过度缩小而变得难以辨识；最后，采用泊松图像编辑方法将提取出的活动物体按照第二阶段计算出的时间位置和物体尺寸无缝地融合进背景视频中。本发明方法有效地减少了浓缩视频中活动物体相互碰撞遮挡的情况。

主权项

一种基于物体尺寸自适应的视频浓缩方法，其特征在于包括以下步骤：步骤一、对于输入视频数据的每一帧合成对应的背景图像，背景图像合成公式为B=Σi=1nIn---(1)]]>式中，B表示要合成的背景图像，I表示所选取的视频序列中的一帧，n表示所选取的视频序列的总帧数；步骤二、使用聚合通道特征检测算法检测原视频中的活动物体，并使用矩形框将每个活动物体标出；使用背景减除算法将每一帧视频与其对应的合成背景相减，根据差值对活动物体进行提取Diff(x,y,t)＝|I(x,y,t)‑B(x,y,t)|      (2)式中，x,y分别是图像像素的横、纵坐标，t是当前帧的帧序号，Diff(x,y,t)表示当前帧中位于坐标(x,y)处的像素与对应背景像素之差的绝对值；若绝对值大于阈值τ，则认为当前像素为前景像素，τ取值为20；步骤三、各活动物体在浓缩视频中的时间位置和缩小尺寸通过求解特定的能量函数确定，所述特定的能量函数为E(M)＝Ea(M)+Ec(M)·Er(M)+Et(M)        (3)式中，E表示能量值，M表示活动物体从原视频到浓缩视频的一个映射，所述能量函数由四个惩罚项组成；各个惩罚项的具体情况如下：①Ea(M)是活动物体信息损失惩罚项，用来衡量浓缩视频中活动物体信息丢失的程度，其具体定义为Ea(M)=Σo∈OΣo′∈(o-o*)Dif(o′)---(4)]]>式中，O表示所有活动物体的集合，o表示其中的一个活动物体，o*表示物体o在浓缩视频中的映射，o'表示属于物体o而没有被包含进浓缩视频的观测序列，Dif(o′)表示当前物体与背景之间的差异；②Ec(M)是活动物体碰撞遮挡惩罚项，计算的是浓缩视频中物体之间重叠面积的总和，用来评价活动物体相互碰撞遮挡的程度，其具体定义为Ec(M)=αΣo,p∈OA(box(o*)∩box(p*))---(5)]]>式中，α是一个参数，用于调节该惩罚项在整个能量函数中的重要性，p表示不同于物体o的另一活动物体，p*表示物体p在浓缩视频中的映射，box()表示一个指定物体的边界框，A()表示一块指定区域的面积；③Er(M)是活动物体尺寸缩小惩罚项，用来限制物体的过度缩小，其具体定义为Er(M)=Σxo∈X,o∈Oexp(1xo2)·exp(ηAo)---(6)]]>式中，X是所有活动物体缩小系数的集合，xo是物体o所对应的一个缩小系数，Ao是物体o的原始面积，物体o缩小后的尺寸是Ao与的乘积，η是一参数，用于调节活动物体的原始面积对整个尺寸缩小惩罚项的影响；④Et(M)是物体间相对时间关系损坏惩罚项，用于在浓缩视频中保护活动物体间的相对时间关系，其具体定义为Et(M)包括三个子项，每个子项对应着一种特定的情况；在第一子项的条件中，to和tp分别表示物体o和p在原视频中活动的时间段，to∩tp≠φ表示两者的活动时间有交集，D(o,p)是衡量物体o和p相对空间关系的函数，其定义为D(o,p)=exp(-mint∈to∩tp{d(o,p,t)}/ω)---(8)]]>式中，d(o,p,t)表示物体o和p在时间t时的欧氏距离，min{}表示一个集合中的最小值，ω为一参数，用于调节距离衡量尺度；T(o,p)是衡量物体o和p在浓缩视频中时间关系损坏程度的函数，其定义为T(o,p)=exp(||(tos-tps)-(to*s-tp*s)||)---(9)]]>式中，和分别表示物体o和p在原视频中的出现时间，和分别表示物体o和p的映射o*、p*在浓缩视频中的出现时间；在第二子项的条件中，to∩tp＝φ表示物体o和p的活动时间没有有交集，T'(o,p)用来衡量在这种情况下，物体o和p的时间关系是否遭到了破坏，其定义为T′(o,p)=(tos-tps)·(to*s-tp*s)---(10)]]>只有当T'(o,p)>0时才表示两者的相对时间关系得以保留；在第三子项中，当两活动物体的活动时间段既没有交集，并且两者的相对时间关系又遭到破坏时，使用下式对这种情况进行惩罚exp(||to*s-tp*s||/σ)---(11)]]>式中，σ为一参数，用于调节第三子项在整个活动物体尺寸缩小惩罚项中的重要性；步骤四、生成浓缩视频；首先，根据用户自定义的浓缩视频的长度，对步骤一中合成的背景图像中有物体活动的子集进行均匀降采样，将降采样得到的背景图像按照时间顺序拼接起来得到浓缩视频的背景视频；然后，使用泊松图像编辑方法，按照步骤三求解的映射结果，将各个活动物体融合进背景视频中，得到浓缩视频。