[发明专利]一种基于粒子滤波的视频稳定方法

摘要

本发明提出了一种基于粒子滤波的视频稳定方法，不需要进行单独的运动估计，而是把运动估计和运动补偿都归纳进一个粒子滤波的框架下，直接通过粒子加权的方式获得运动补偿向量。本发明提出的方法复杂度小，能够有效的对视频进行稳定补偿，适用于车载、船载、机载等摄像系统。

主权项

1.一种基于粒子滤波的视频稳定方法，其特征在于，包括以下步骤：(1)对于视频序列图像{Pn(x,y)|n＝1,2,…N}，采用下述模型表示视频序列图像中相邻两帧图像的映射关系：其中(xn,yn)表示第n帧的一个像素点所在的位置坐标，(xn+1,yn+1)是其对应的第n+1帧的像素点所在的位置坐标，(Δx,Δy)为运动补偿参数；选取粒子数量M，每个粒子的都有一个权重记为每个粒子的初始权重均设为1/M，每个粒子对应的运动补偿参数为对所有的粒子进行初始化：其中ε为[‑1,1]内的随机数，每个粒子对应的运动补偿参数的初始值(Δxinit,Δyinit)均取0，b是一个常数，表示单帧补偿范围；根据公式(2)，可以获得M个粒子的在第一帧的初始取值；(2)对每个粒子进行状态预测，考虑摄像机的实际扫描状态，故构造线性离散系统模型作为状态转移方程：其中G1、G2分别是一维高斯噪声；从第n帧开始，其中n≥2，根据公式(3)，获得M个粒子在对应的运动补偿参数上新的取值；(3)然后对每个粒子进行观测，观察每个粒子所代表的可能状态和真实状态之间的相似程度，接近真实状态的粒子赋予较大的权值，反之权值较小；任取M个粒子中的一粒子其相似似程度和权重的获得方法如下：a.从第n‑1帧图像里面随机选择5幅大小为50×50的子图像{Hi(x,y)|i＝1,2,…5}，从这5幅子图像中间选取一幅梯度信息最大的子图像；其中梯度信息的计算方法如下：其中是卷积运算，TH是二值化的阈值；{θi(x,y)|i＝1,2,…,5}是一个二值化图像，其中非零像素代表梯度信息，因此在这5幅子图像中选择非零像素数量最多的那幅，假定为θi0(x,y)，那么其所对应的Hi0(x,y)就是梯度信息最大的子图像；b.根据当前的粒子计算第n‑1帧的子图像H_i0(x,y)在第n帧对应的子图像，这里记为H′_i0(x,y)；根据公式(1)，分别将子图像H_i0(x,y)在第n‑1帧图像上四个顶点坐标平移就可以得到其在第n帧图像上的四个顶点的坐标位置，也即得到对应的子图像H′_i0(x,y)；c.通过直方图计算Hi0(x,y)和H′i0(x,y)的相似度；将空间划分成32份，分别计算Hi0(x,y)和H′i0(x,y)的直方图，记为HistA和HistB；HistA和HistB均为长度为32的一维的向量，然后采用欧式距离计算两者的相似度：d.根据相似度计算观察概率密度其中δ是个常数；e.更新当前粒子的权重：对于100个粒子都进行步骤a至e的操作，计算出新的权重，然后再进行归一化得到最终权重(4)当前帧即第n帧所期望的运动补偿参数可以用每个粒子的加权和来表示；(5)对粒子进行重新采样，复制权重较大的粒子，剔除权重较小的粒子，做法如下：定义两个阈值ε1和ε2，其中ε1＞ε2，ε1和ε2分别表示粒子权值的大小范围，当某个粒子的权值小于阈值ε2时，需要在权值大于ε1的粒子中任意选择一个进行替换，并给该粒子赋予1/M的初始权重；对所有权值小于阈值ε2的粒子都进行替换后，对M个粒子的权重进行归一化，作为第n帧的最终粒子信息；计算完第n帧的运动补偿参数(Δxn,Δyn)和粒子信息后，然后转到步骤(2)，开始计算第n+1帧的运动补偿参数(Δxn+1,Δyn+1)和粒子信息；这样从第2帧开始，每一帧都通过步骤(2)‑步骤(5)计算出对应的运动补偿参数{(Δxn,Δyn)|n＝2,…,N}；最后根据每一帧的运动补偿参数对视频图像进行稳定，以第n帧为例，通过累加获得第n帧相对于第1帧的运动补偿：根据对第n帧图像进行平移，获得稳定视频序列图像。