[发明专利]一种基于特征跟踪和网格路径运动的视频稳像方法

权利要求书

1.一种基于特征跟踪和网格路径运动的视频稳像方法，其特征在于，包括以下步骤：

步骤1：针对原始抖动视频，检测视频帧的特征点；

步骤2：对检测出来的特征点进行特征追踪匹配；

步骤3：根据匹配到的特征点，估计相邻帧间的仿射变换矩阵；

步骤4：将视频帧划分为均匀的网格，选取均匀网格中的一格，把相邻帧间仿射矩阵与前一帧相机运动路径累乘，由此计算视频的运动轨迹；

步骤5：通过极小化能量函数优化平滑多条网格路径；

步骤6：由原相机路径与平滑相机路径的关系，计算相邻帧间的补偿矩阵，利用补偿矩阵对每一帧进行几何变换，从而得到稳定的帧序列。

2.根据权利要求1所述的基于特征跟踪和网格路径运动的视频稳像方法，其特征在于：步骤1中，首先对原始抖动视频进行预处理，将视频通过MATLAB软件分解成每一帧。

3.根据权利要求1所述的基于特征跟踪和网格路径运动的视频稳像方法，其特征在于：步骤1中，通过SIFT算法检测视频帧的特征点；具体实现包括以下子步骤：

步骤1.1：尺度空间和极值点的检测；

图像I(x,y)的高斯尺度空间具体计算公式为：

L(x,y,σ)＝G(x,y,σ)·I(x,y)；

其中，高斯核函数σ为尺度空间因子；

使得出不同尺度下的特征点，进一步由高斯尺度空间生成高斯差分尺度空间DOG，其DOG具体计算公式为：

D(x,y,σ)＝(G(x,y,kσ)-G(x,y,σ))·I(x,y)

其中，k表示组内总层数的倒数；

在DOG尺度空间通过比较每一个像素和它所有相邻像素的值，从而得到极值点；

步骤1.2：关键点定位和关键点主方向的确定；所述关键点是由DOG空间的局部极值点组成的；

首先利用拟合关系确定关键点的精确位置以及尺度；在完成关键点的梯度计算后，使用直方图统计邻域内像素的梯度和方向；然后建立关键点邻域像素的梯度方向直方图，直方图的峰值方向代表了关键点的主方向；

步骤1.3：关键点描述子的生成；

先将坐标轴移动为关键点的方向，以关键点为中心取N×N窗口，计算图像每个像素的梯度；然后建立M度角的等间隔梯度直方图，计算得到不同方向的累加值；最后利用归一化处理得到的累加值作为一个描述子；其中M、N为预设值，均为正整数。

4.根据权利要求1所述的基于特征跟踪和网格路径运动的视频稳像方法，其特征在于：步骤2中，对检测出来的SIFT特征点进行KLT算法特征追踪匹配；KLT算法是一种以待跟踪窗口在视频相邻帧间的灰度差平方和SSD作为度量的匹配算法；假设一个包含特征纹理信息的特征窗口W，设t时刻对应的视频帧用I(x,y,t)表示，t+τ时刻对应的视频帧用I(x,y,t+τ)，其对应的位置具体计算公式为：

I(x,y,t+τ)＝I(x-Δx,y-Δy)；

其中，Δx,Δy为X(x,y)的偏移量；在I(x,y,t+τ)中的每个像素点，根据I(x,y,t)中相对应的像素点平移d(Δx,Δy)求得；

为了找到能够使SSD最小化的d，假设给定的相邻帧I和J，定义ε的具体计算公式为：

其中，ε表示SSD，W是给定的特征窗口，ω(X)为权重函数；

将SSD中最小化的d表达式中的J(X)-I(X-d)替换成其对称的形式具体计算公式为：

其中，d是远小于X的量，将进行泰勒展开，去掉最高次项，仅保留前两项，g是泰勒展开式的一阶泰勒系数，为了得到最佳匹配，根据上式对d进行求导，最终化简得：

其中，g_x是图像x方向的矩阵，g_y是是图像y方向的矩阵；

为找到最优的匹配，对每个点进行牛顿迭代，求得最终解，具体计算公式为：

其中，d表示特征窗口W中心的平移，d_k表示第k次牛顿迭代计算所得d值；在迭代过程中，计算d需要使用初始估计值d₀，其中初始值d₀＝0。