[发明专利]基于图像网格光流滤波的无人机视频稳像方法及系统

权利要求书

1.一种基于图像网格光流滤波的无人机视频稳像方法，其特征在于，包括以下步骤：

步骤1，对输入的视频进行网格划分，将网格的顶点设置为光流跟踪点，求解每一帧图像与前一帧图像在网格顶点处的光流作为原始网格光流；

步骤2，对原始网格光流进行连续性检测，对原始网格光流进行初次时域分析，在时域进行卡尔曼滤波，去除高频成分，然后比较滤波前后的大小变化，比较判断光流是否发生突变，筛选出变化大的点作为外点；

实现如下，

假设相机的抖动服从高斯分布，通过前一帧的光流累计值R_t-1，预测当前帧的光流服从高斯分布而当前帧求得的原始光流服从高斯分布N(R_t,Q_t)；当前帧光流累计值记为R_t；

其中，t用于标识当前帧，P_t、Q_t分别为高斯分布N(R_t,Q_t)的协方差矩阵，上标T表示矩阵的转置；

若相机稳定运动，则t时刻的转换矩阵H_t为3×3的单位矩阵I，得到卡尔曼增益K为：

则当前帧光流最佳估计值R′_t为

R′_t＝R_t-1+K(R_t-R_t-1)

根据前一帧的协方差矩阵P_t-1可得到当前帧的协方差矩阵P_t为

P_t＝P_t-1-KP_t-1

比较R′_t和R_t，如果二者相差大于预设阈值ε，则相应点记为外点，标记为M_t(v)＝0，否则标记M_t(v)＝1；

步骤3，对步骤2中的外点的光流进行滤波处理，使其与周围网格顶点的光流在空间上连续，得到优化后的光流；

步骤4，对优化后的光流进行时域滤波，并通过网格顶点限制输出视频的形变，得到每个网格顶点的运动补偿矢量；

步骤5，根据运动补偿矢量进行网格变换，得到输出稳像视频。

2.根据权利要求1所述基于图像网格光流滤波的无人机视频稳像方法，其特征在于：步骤1中，对每个网格顶点根据lk光流法进行光流跟踪，得到网格顶点的光流矢量。

3.根据权利要求1所述基于图像网格光流滤波的无人机视频稳像方法，其特征在于：步骤3中，对于步骤2所得标记为M_t(v)＝0的网格顶点v，进行自适应大小的滑窗均值滤波，实现方式如下，

统计v周围M_t(v)＝1的网格顶点，以v为中心扩大滑窗直到网格顶点的数量超过相应设定阈值k为止，然后将统计的网格顶点的光流均值来作为v的光流。

4.根据权利要求3所述基于图像网格光流滤波的无人机视频稳像方法，其特征在于：设k＝9。

5.根据权利要求3所述基于图像网格光流滤波的无人机视频稳像方法，其特征在于：步骤4中，为得到每个网格顶点的运动补偿矢量，采用优化方程E＝E₁+E₂，时域滤波项E₁作用是稳像，第二项是局部约束项E₂，表示在进行运动补偿的时候，每个网格顶点的变化应尽量小，以防发生过大的偏移。

6.根据权利要求5所述基于图像网格光流滤波的无人机视频稳像方法，其特征在于：时域滤波项E₁表示对第t帧图像光流累计值R_t进行时域上的平滑，通过高斯滑窗法实现。

7.根据权利要求5所述基于图像网格光流滤波的无人机视频稳像方法，其特征在于：局部约束项E₂表示为E₂＝||S_t-R_t||²，S_t表示输出视频第t帧图像中在网格顶点v处的光流累计值。

8.根据权利要求1或2或3或4或5或6或7所述基于图像网格光流滤波的无人机视频稳像方法，其特征在于：步骤5中，通过每个网格的四对顶点求得该网格的变换矩阵，分别对网格进行变换，得到稳像后的图像，并输出视频。