[发明专利]一种全局运动补偿算法

权利要求书

1.一种全局运动补偿算法，其特征在于：首先确定一个目标帧，然后对每相邻视频帧进行全局运动参数估计得到相邻帧运动变换，再迭代地将对象在原帧的坐标通过连续相邻帧的变换依次映射到目标帧，最后得到的目标帧即经过补偿得到的结果帧；

设视频段共有N帧图像，视频段的中间帧f_M为目标帧，设全局运动参数集为τ；

设第i帧图像与第i+1帧图像的全局运动参数为τ_i，第i帧图像为源帧图像，第i+1帧图像为目的帧图像，对于f_M之前的所有帧，将对象在第i帧图像坐标依次应用全局运动参数τ_i变化映射到第i+1帧图像，i＝1,2,…,M-1；

设第j帧图像与第j-1帧图像的全局运动参数为τ_j，第j帧图像为源帧图像，第j-1帧图像为目的帧图像，对于f_M之后的所有帧，将对象在第j帧图像坐标依次应用全局运动参数τ_j变化映射到第j-1帧图像，j＝N,N-1,…,M+1；

所述相邻两帧之间的全局运动参数是求解方法是：通过当源帧图像经过全局运动参数映射变换后得到的参考帧图像与源帧图像的目的帧图像之间误差的L1范数最小化进行求解；

设源帧图像为R(p)，目的帧图像为F(p)，其中p为像素坐标；

全局运动参数估计就是找到一个几何变换模型τ(p)，使的最小：

使用六参数仿射模型作为全局运动的几何变换模型，基于L1范数最小化的全局运动参数估计问题可定义为：

其中，p∈Ω，Ω为图像像素空间，对于仿射模型，给定一个像素(p_x,p_y)，其对应仿射变换位置为(p′_x,p′_y)：

设Δτ很小，则有其中J是相对于变换参数τ₀的雅可比矩阵，在仿射变换模型中，定义Δτ和Jacobian J如下：

Δτ＝[Δα₁ Δα₂ Δα₃ Δβ₁ Δβ₂ Δβ₃]^T (14)；

其中N是R中的像素数，将R沿着X和Y方向的梯度图像分别设为R_x和R_y，则Jacobian矩阵J可变为：

J＝[R_xp_x R_xp_y R_x R_yp_x R_yp_y R_y] (4)；

公式(12)可以通过交替迭代求解，即在每次迭代时，外循环更新τ，内循环求解公式(12)的线性逼近，也就是说先设定τ不变的情况下，τ＝τ₀+Δτ，求解Δτ，最小二乘求解Δτ，该过程中需要经过多次更新，然后再用求解的Δτ更新τ，再次使用最小二乘求解更新后τ的Δτ，如此循环，循环的结束条件为参考帧图像的L1范数与目的帧图像的L1范数相等，即公式(17)：

其中F，R是所有p的向量表示，

定义预测残差帧则公式(17)转化为公式(18)：

从而，公式(18)在无约束的增广拉格朗日函数L中可以重写为以下形式：

在非精确交替方向乘子法中，等式(6)转化为求解两个分别相对于S和Δτ的子问题以及拉格朗日乘子更新：

(子问题w.r.t S)

(子问题w.r.t Δτ)

(更新拉格朗日乘子)Y←Y+μ(JΔτ+s-ΔF) (9)；

将τ₀初始化为单位阵；

所述任意两个相邻帧之间的全局运动参数通过如下方法计算，具体步骤如下：

1)输入源帧图像R和源帧图像的目的帧图像F；初始化仿射参数τ₀、Δτ和拉格朗日乘子Y，Δτ是初始化为0的矩阵，τ₀和Y的初始化值为经验值；

2)根据公式(1)计算真实残差帧S，

S＝F-R (1)；

初始化|S′|₁＝∞；

3)根据公式(2)计算预测残差帧S；

其中，J雅可比矩阵；

4)当|S′|₁|S|₁时执行5)，否则执行10)；

5)计算经仿射变换的参考帧F′、参考帧F′沿着X方向的梯度图像F′_x和参考帧F′沿着Y方向的梯度图像F′_y；

其中，τ＝τ₀，R_x和R_y分别表示源帧图像R沿着X和Y方向的梯度图像；

6)根据公式(4)计算当前的雅可比矩阵J；

J＝[R_xp_x R_xp_y R_x R_yp_x R_yp_y R_y] (4)

其中，p_x和p_y分别表示源帧图像中像素的沿X和Y方向的梯度；

7)根据公式(5)计算稀疏残差帧ΔF：

8)求解全局运动参数估计的目标函数公式(6)

将公式(6)转化为交替地求解两个分别相对于S和Δτ的子问题以及拉格朗日乘子更新的问题，具体如下：

a)通过软阈值法求解相对于S的子问题，参见公式(7-1)和(7-2)：

其中，为以μ^-1为阈值的软阈值函数；

更新预测残差帧S；

b)通过最小二乘求解相对于Δτ的子问题，参见公式(8-1)和(8-2)：

其中，为雅可比矩阵J的逆；

更新Δτ；

c)采用公式(9)计算拉格朗日乘子Y：

Y←Y+μ(JΔτ+s-ΔF) (9)：

其中，μ表示拉格朗日参数；

更新拉格朗日乘子Y；

9)令τ₀←τ₀+Δτ，返回4)；

10)赋值τ＝τ₀；

输出参考帧F′；

输出稀疏残差帧

利用对象检测的矩形区域对每一对象定义一个二值掩模M，M中运动对象对应位置的元素为0，其余背景像素对应位置的元素为1；

于是上述全局运动参数估计的目标函数(6)转变为：