[发明专利]基于视觉感知能量的监控视频运动片段分割方法

摘要

本发明公开了一种基于视觉感知能量的监控视频运动片段分割方法，涉及图像处理方法技术领域。所述方法包括如下步骤在运动目标移入、移出视觉监视区域的边界处提取监控视频序列的侧面，分析视频侧面上的目标形变并建立VPE曲线；检测VPE曲线的拐点，对正负能量拐点进行处理；统计所有的正能量拐点处的VPE以及负能量拐点处的修正后的VPE，绘制累积VPE曲线；根据累积VPE曲线进行监控视频运动片段分割，其中VPE是指视觉感知能量。所述方法提高了监控视频运动片段分割的准确率，大大降低了需要处理的视频数据量。

主权项

一种基于视觉感知能量的监控视频运动片段分割方法，其特征在于包括如下步骤：在运动目标移入、移出视觉监视区域的边界处提取监控视频序列的侧面，分析视频侧面上的目标形变并建立VPE曲线；检测VPE的拐点，对正负能量拐点进行处理；统计所有的正能量拐点处的VPE以及负能量拐点处的修正后的VPE，绘制累积VPE曲线；根据累积VPE曲线进行监控视频运动片段分割，其中VPE是指视觉感知能量；所述的在运动目标移入、移出视觉监视区域的边界提取监控视频序列的侧面的方法如下：对于由大小为H×W的视频帧组成的长度为L的视频序列，用pi,j表示视频帧的第i行、第j列的像素值，那么第k′帧图像的四个边界Side(A)、Side(B)、Side(C)、Side(D)分别表示如下：Side(A)：Side(B)：Side(C)：Side(D)：在视频序列的每一帧的相同边界采样，得到一个像素阵列，将这些来自连续帧的像素阵列沿着时间轴连接起来，就形成了视频的侧面；相应的，视频序列的四个侧面Profile(A)、Profile(B)、Profile(C)、Profile(D)分别表示如下：Profile(A)：PAi,jk′=p1,11p2,11p3,11...pH-1,11pH,11p1,12p2,12p3,12...pH-1,12pH,12p1,13p2,13p3,13...pH-1,13pH,13..................p1,1L-1p2,1L-1p3,1L-1...pH-1,1L-1pH,1L-1p1,1Lp2,1Lp3,1L...pH-1,1LpH,1LT]]>Profile(B)：PBi,jk′=pH,11pH,21pH,31...pH,W-11pH,W1pH,12pH,22pH,32...pH,W-12pH,W2pH,13pH,23pH,33...pH,W-13pH,W3..................pH,1L-1pH,2L-1pH,3L-1...pH,W-1L-1pH,WL-1pH,1LpH,2LpH,3L...pH,W-1LpH,WL]]>Profile(C)：PCi,jk′=p1,W1p2,W1p3,W1...pH-1,W1pH,W1p1,W2p2,W2p3,W2...pH-1,W2pH,W2p1,W3p2,W3p3,W3...pH-1,W3pH,W3..................p1,WL-1p2,WL-1p3,WL-1...pH-1,WL-1pH,WL-1p1,WLp2,WLp3,WL...pH-1,WLpH,WLT]]>Profile(D)：PDi,jk′=p1,11p1,21p1,31...p1,W-11p1,W1p1,12p1,22p1,32...p1,W-12p1,W2p1,13p1,23p1,33...p1,W-13p1,W3..................p1,1L-1p1,2L-1p1,3L-1...p1,W-1L-1p1,WL-1p1,1Lp1,2Lp1,3L...p1,W-1Lp1,WL;]]>所述的分析视频侧面上的目标形变的方法如下：建立平面直角坐标系，其中，y方向为运动目标将要跨越的视频边界，跨越边界时，运动目标的速度为其分量分别为u和v，u与视频边界y正交，v与视频边界y平行，目标主姿态方向与视频边界y成β夹角；运动目标的形变包括水平方向形变和垂直方向形变两个方面，水平方向的形变取决于运动目标的水平分速度u，即侧面上目标的宽度与速度u成反比；如果运动目标以较高的速度u跨越视频边界，则目标宽度会变窄；反之，对于较低的速度u，运动目标的宽度会变宽；垂直方向的形变来源于夹角β和运动目标的垂直速度v，随着β的增大，目标高度会被压缩，随着v的增大，目标高度会被拉伸；运动目标垂直于视频边界方向移入、移出视觉监视区域，视频侧面上的目标形变最小，选取水平方向和垂直方向作为视频边界；对正负能量拐点进行处理的方法包括如下步骤：对于正能量拐点：正能量拐点表明此时是运动目标移入视觉监视区域，建立目标的三个特征模型：表观模型运动预测模型和时间连续性模型并形成匹配特征表保存到目标特征数据库中，将此时的运动目标VPE保存为基准能量；对于负能量拐点：负能量拐点表明此时是运动目标移出视觉监视区域，建立目标的三个特征模型：表观模型运动预测模型和时间连续性模型并与目标特征数据库进行匹配，如果匹配成功，则去掉目标特征数据库中的对应特征模型，并对VPE进行能量修正，如果失配，则建立失配标记后返回；在检测VPE的拐点的过程中需要对VPE曲线进行描述，所述VPE曲线进行描述的方法如下：视觉感知能量VPE采用运动目标的像素数进行表征，首先对视频侧面进行背景减除，方法如下：将视频帧的t时刻观测值为Xt的每一个像素点的概率分布P(Xt)用K个加权高斯分布模型来表征，对应的颜色分布函数为η(Xt,μk,t,∑k,t)，公式表示如下：P(Xt)=Σk=1Kωk,t×η(Xt,μk,t,Σk,t)]]>η(Xt,μk,t,Σk,t)=1(2π)n/2(|Σk,t|1/2)exp{-12(Xt-μk,t)TΣk,t-1Xt-μk,t}]]>上式中：μk,t表示t时刻第k个高斯分布模型的均值，∑k,t表示t时刻第k个高斯分布模型的方差，ωk,t表示t时刻第k个高斯分布模型的权重，K的取值范围为3～5；在模型匹配的过程中，混合高斯模型方法将K个高斯分布的ωk,t/σk,t按由大到小的顺序进行排列，对于输入的视频帧，将其与K个高斯分布的每一个均值按顺序依次进行比较，找到相匹配的高斯分布模型后，匹配过程结束，匹配条件为：|Xt‑μk,t|＜2.5σk,t上式中：σk,t为对应的标准差；如果满足匹配条件的高斯模型存在，则对第一个匹配高斯模型的所有模型参数进行更新：ωk,t+1＝(1‑α)×ωk,t+αμk,t+1＝(1‑ρ)×μk,t+ρ×Xt+1σk,t+12=(1-ρ)×σk,t2+ρ×(Xt+1-μk,t+1)T(Xt+1-μk,t+1)]]>ρ＝α×(Xt+1|μk,t,σk,t)而对于其它高斯分布模型，只更新权值ωk,t+1，模型的均值和方差保持不变；ωk,t+1＝(1‑α)×ωk,t如果满足匹配条件的高斯模型不存在，则建立一个具有较高方差、较低权重、均值为Xt+1的高斯分布模型来替换第K个高斯模型；模型参数更新完成以后，每个高斯模型有一个权重，按照权重进行降序排列，选取前NB个高斯模型作为背景，NB满足以下公式：NB=argminb(Σk=1bωk,t>T)]]>上式中：T表示背景所占的比例，T∈(0,1)；在高斯背景模型中，视频侧面的每一列视作高斯模型的一个输入，模型参数逐列进行更新，高斯均值μ和方差σ2的更新公式如下：μt+1=(1-α)μt+αGBt+1(σ2)t+1=(1-α)(σ2)t+α(GBt+1-μt+1)(GBt+1-μt+1)T]]>上式中：是视频侧面中列t+1的灰度，α为修正率，定义如下：α=1/Mn,t<2000.005,t≥200]]>其中：Mn是匹配次数，视频侧面的方差σ2为σ2=σx1,y12σx2,y12...σxL,y12σx1,y22σx2,y22...σxL,y22............σx1,yp2σx2,yp2...σxL,yp2]]>其中：yp是视频侧面的个数，取4；视频侧面的背景模型生成后，自适应的进行背景更新，检测视频侧面的每一个像素Ip是否服从N(μ,δ)分布，前景运动目标通过以下公式获得：If=0,Ip~N(μ,δ)1,else]]>根据上式，视频侧面上的运动目标可以从背景中分离出来，视频侧面上的单视频帧目标像素数目为对应视频帧的视觉感知能量VPE，视觉感知能量VPE大于设定阈值的视频片段为运动片段；视频序列的每一帧Fi的A侧面上的视觉感知能量VPE由以下公式计算得到：VPEA(Fi)=Σj=1W{NA[If(Fi)]}j]]>上式中：NA[If(Fi)]=1,if[If(Fi)]j≠00,else]]>相似的，可以得到：VPEB(Fi)=Σj=1W{NB[If(Fi)]}j]]>VPEC(Fi)=Σj=1W{NC[If(Fi)]}j]]>VPED(Fi)=Σj=1W{ND[If(Fi)]}j]]>将视频序列每一帧的四个侧面的视觉感知能量相加得到该视频帧的视觉感知能量，如以下公式所示：VPE(Fi)＝VPEA(Fi)+VPEB(Fi)+VPEC(Fi)+VPED(Fi)将视频序列的每一帧的视觉感知能量VPE值连接起来，得到VPE曲线。