[发明专利]一种能够准确检测出视频序列中复杂抖动的稳像方法

摘要

本发明公开了一种能够准确检测出视频序列中复杂抖动的稳像方法，该方法首先对图像进行金字塔分解，通过对原始层第0层，平滑后隔行隔列采样得到分辨率较低的高层，然后从顶层开始，计算两帧图像上对应层间的仿射运动参数，随后将计算得到的仿射运动参数传递至较高分辨率层，进行参数迭代，迭代计算至金字塔底层即可求出准确的仿射运动参数。根据所求得的准确的仿射运动参数对抖动视频进行补偿可以得到良好的稳像效果。实验表明：结合金字塔多分辨率分层技术的光流算法解决了视频序列间运动不连续性的情况下采用传统梯度光流法进行运动估计会产生较大误差的问题，且对包含旋转、缩放、平移等复杂运动的视频序列均能取得良好的稳像效果。

主权项

一种能够准确检测出视频序列中复杂抖动的稳像方法，其特征在于，该方法步骤如下：步骤1：选择6参数的仿射模型，即：$\left(\begin{array}{c}{X}_i^{\&prime;}\\ Y_i^{\&prime;}\end{array}\right)=\left(\begin{array}{cc}{a}_1& a_2\\ a_3& a_4\end{array}\right)\left(\begin{array}{c}{X}_i\\ Y_i\end{array}\right)+\left(\begin{array}{c}{a}_5\\ a_6\end{array}\right)$      公式（1）设$A=\left(\begin{array}{cc}{a}_1& a_2\\ a_3& a_4\end{array}\right),T=\left(\begin{array}{c}{a}_5\\ a_6\end{array}\right),$其中(X'_i,Y′_i)，(X_i,Y_i)分表当前帧和参考帧的坐标，参考帧即序列中的前一帧，A包含了两帧之间的旋转、缩放以及畸变信息，T包含了平移信息；步骤2：基于图像灰度一致性假设，导出光流场计算基本公式，即：$\frac{\&part;f(x+dx,y+dy,t+dt)}{dt}=0$       公式（2）对公式（2）进行泰勒展开，并忽略掉2阶以上的高阶项有：$\frac{\&part;f}{\&part;x}\frac{dx}{dt}+\frac{\&part;f}{\&part;y}\frac{dy}{dt}+\frac{\&part;f}{\&part;t}=0$        公式（3）其中f(x+dx,y+dy,t+dt)为像素点(x,y)运动到(x+dx,y+dy)时的灰度，其中分别为图像在水平和垂直方向的梯度，为水平和垂直方向的光流；步骤3：构建相邻两帧图像f(x,y,t)和f(x,y,t‑1)间的最小误差函数来求得仿射变换参数，最小误差函数用E来表示即为：$E\left(a\right)=\underset{x,y\&Element;\mathrm{\&Omega;}}{\&Sigma;}{\&lsqb;f(x,y,t)-f(a_{1}x+a_{2}y+a_5,a_{3}x+a_{4}y+a_6,t-1)\&rsqb;}^2$   公式（4）泰勒展开公式（4），并化简有：$\begin{array}{c}E\left(a\right)\&ap;\underset{x,y\&Element;\mathrm{\&Omega;}}{\&Sigma;}{\&lsqb;f_t-(a_{1}x+a_{2}y+a_5-x)f_x-(a_{3}x+a_{4}y+a_6-y)f_y\&rsqb;}^2\\ =\underset{x,y\&Element;\mathrm{\&Omega;}}{\&Sigma;}{\&lsqb;s-m^{T}a\&rsqb;}^2\end{array}$    公式（5）公式（5）中Ω为在图像中划定的计算区域，当误差E(a)趋向于0时，仿射参数最为理想，其中a^T=(a₁,a₂,a₃,a₄,a₅,a₆)，s=f_t+xf_x+yf_y，m^T=(xf_x,yf_x,xf_y,yf_y,f_x,f_y)，f_x,f_y,f_t分别表示图像强度f(x,y,t)对x,y,t的偏导，对公式（5）进行差分处理可以得到：$\frac{dE\left(a\right)}{da}=\underset{\mathrm{\&Omega;}}{\&Sigma;}2\&lsqb;s-m^{T}a\&rsqb;(-m^T)$      公式（6）令公式（6）式即可求得误差函数的极小值，可得$a={\&lsqb;\underset{\mathrm{\&Omega;}}{\&Sigma;}{m}^T\&rsqb;}^{-1}\&lsqb;\underset{\mathrm{\&Omega;}}{\&Sigma;}{\mathrm{sm}}^T\&rsqb;{\&lsqb;\underset{\mathrm{\&Omega;}}{\&Sigma;}{m}^T\&rsqb;}^{-1};$步骤4：对相邻两帧图像构建L层金字塔，设第0层为原始图像，依次向下采样获得高一层低分辨率层；步骤5：利用前向差分和后向差分取平均，求得图像亮度f(x,y,t)对x,y,t的偏导f_x,f_y,f_t，将得到的偏导:带入步骤3中的公式（6），求得相邻帧对应层间的仿射变换参数A_k，T_k，并更换T_k=2^k*T_k，k为相应的层，初始值为最高层；步骤6：对参数进行迭代计算A_cum=A_k*A_cum,T_cum=A_kT_cum+T_k，当第一次计算时取迭代设初值为$A_{cum}=\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right],T_{cum}=\left[\begin{array}{c}0\\ 0\end{array}\right],$令L=L‑1，如果L≥0，用A_cum，T_cum对原始的当前帧进行插值处理，得到高一级分辨率层的初始解，并转置步骤4，同时L=L‑1进行下一层更高分辨率层的估计，若L<0，则输出最终参数A_cum和T_cum；步骤7：采用固定帧补偿方式对抖动的视频进行补偿，以消除或者减轻抖动。