[发明专利]一种基于在线全变差优化的视频稳定方法

摘要

本发明涉及一种基于在线全变差优化的视频稳定方法，属于视频处理技术领域；包括以下步骤：利用特征点检测和匹配对抖动视频进行运动估计，计算出帧间变换矩阵，并得到原始抖动视频的相机路径；通过在线全变差优化和线性平滑方法对相机路径进行优化，得到稳定的相机路径；通过原始相机路径与稳定相机路径的变换关系对抖动视频帧进行图像变换后生成稳定的视频。与已有方法相比，本发明方法使用帧间单应性变换来描述相机运动，通过在线全变差优化方法和线性平滑方法来减小视频的差分，从而平滑相机路径；此优化方法计算效率快，可以达到实时处理的效果，且生成的稳定视频保真度高，不会损失过多的图像信息，具有很好的鲁棒性。

主权项

1.一种基于在线全变差优化的视频稳定方法，其特征在于，包括如下步骤：步骤一、对于抖动视频，根据相邻两帧多个对应特征点的位置关系，对下述等式(1)进行计算获得相邻两帧的单应性变换矩阵F以得到视频帧之间的运动变换模型：其中，(x′,y′,1)^T和(x,y,1)^T分别为二维平面点(x′,y′)和(x,y)的齐次坐标形式；(x′,y′)为抖动视频第t个图像帧I_t(t＝1,2,…,n，n表示图像帧的数量)的特征点(x,y)通过光流法得到的其在第t+1个图像帧I_t+1中的对应位置；a、b、c、d、e、f、g、h为构成F的8个矩阵元素；步骤二、通过下式计算抖动视频的相机路径{C₁，C₂，…，C_t…，C_n}：C_t＝F₁F₂···F_t；其中t＝2,…,n；其中，C₁＝F₁＝I，I表示单位矩阵；F_t表示视频帧I_t‑1与下一帧I_t之间的变换矩阵，通过步骤一得到；C_t表示I_t时的相机路径；步骤三、通过对下述整体多元全变差优化目标函数E(P)求解获得整体相机路径的优化路径{P₁，P₂，…，P_t…，P_n}：其中，P′_m＝{P_1,m,P_2,m,…,P_t,m,…,P_n,m}，表示视频所有帧对应的优化路径的第m维参数的集合，C′_m＝{C_1,m,C_2,m,…,C_t,m,…,C_n,m}，表示视频的所有帧在相机路径的第m维参数的集合，m∈{1，M}；P_t,m和C_t,m表示视频的第t帧在相机路径的第m维参数上的取值，P′_m,t是计算过程中相机路径的第m维参数上的取值；C表示通过步骤二得到的原始相机路径，P表示本步骤需要求解的优化后的平滑相机路径，M为相机路径的维数，n为视频的总帧数；λ为E_d(P)和E_v(P)这两项的一个平衡参数，用来控制变分项所占的比重，从而保证优化后的相机路径既保持稳定，同时又不会与原始路径相差太大；步骤四、通过将步骤三得到的优化路径上某一点的数值取其前后各k点的平均值对相机路径进行平滑，即：其中，i＝k+1,k+2,…,n‑k；当1≤i≤k时，当n‑k<i≤n时，其中，ω_i,t为权重系数；步骤五、根据步骤四平滑后的相机路径对抖动视频中的图像帧通过以下变换生成稳定帧：I′_t＝I_tB_t；其中，I′_t表示稳定帧，B_t为从抖动视频帧到稳定视频帧的变换矩阵，通过平滑后的相机路径与原始相机路径得到：B_t＝C_t^‑1P_t。