[发明专利]基于图像网格光流滤波的无人机视频稳像方法及系统

说明书

本发明提供一种基于图像网格光流滤波的无人机视频稳像方法及系统，对输入的视频进行网格划分，将网格的顶点设置为光流跟踪点，求解每一帧图像与前一帧图像在网格顶点处的光流；对网格光流进行初次时域分析，去除高频成分，然后比较滤波前后，筛选出变化大的点作为外点；对外点的光流进行滤波处理，使其与周围网格顶点的光流在空间上连续；对优化后的光流进行时域滤波，并通过网格顶点限制使输出视频不发生较大的形变，得到网格顶点的运动补偿矢量；根据运动补偿矢量进行网格变换，得到输出稳像视频。本发明采取由粗到细的方法，对不连续光流进行滤波处理，再进行受网格约束的运动补偿，从而减少了形变以及运动物体带来的影响，提高了稳像质量。

技术领域

本发明属于视频处理领域，尤其涉及基于图像网格光流滤波的无人机视频稳像技术方案。

背景技术

视频稳像技术是对视频设备采集的原始视频序列进行处理去除其中高频抖动的视频处理技术。视频稳像是视频处理领域中一个重要的研究方向，一方面是为了让人眼观感舒适，有利于人工观测、判别等，另一方面也作为诸多其他后续处理的预处理阶段，如检测、跟踪和压缩等。虽然视频稳像技术取得了很好的发展，尤其是一些新兴的方法出现，但仍然存在一些问题。方法的普适性不够，不能适用于各种场景。有的方法依赖于特征点的分布，有的方法要求场景是静态的。对于前景复杂、景深变化、有运动物体的场景，很少有统一的方法能解决。其次，效率与效果二者不可兼得，复杂的场景往往需要复杂的方法，增加了计算成本，而简单的方法效果又不够好，所以实时稳像仍然是一大难题。再者，尚未统一评价视频稳像效果好坏的标准，常用的峰值信噪比等评价指标不一定符合人眼主观感受，而纯靠人工评价既耗时又有很大的不确定性。尤其是当前无人机航拍应用日益广泛，而针对无人机拍摄视频的稳像技术尚未有有效的解决方案出现。

发明内容

本发明为了解决视频稳像中运动物体和视差的问题，针对现有技术的不足，提供一种基于图像网格光流滤波的无人机视频稳像技术方案，通过时域分析筛选出这些光流不连续的地方并进行空间滤波，可以有效减少运动物体和视差带来的影响。

本发明的技术方案为一种基于图像网格光流滤波的无人机视频稳像方法，包括以下步骤：

步骤1，对输入的视频进行网格划分，将网格的顶点设置为光流跟踪点，求解每一帧图像与前一帧图像在网格顶点处的光流；

步骤2，对网格光流进行初次时域分析，去除高频成分，然后比较滤波前后的大小变化，筛选出变化大的点作为外点；

步骤3，对步骤2中的外点的光流进行滤波处理，使其与周围网格顶点的光流在空间上连续；

步骤4，对优化后的光流进行时域滤波，并通过网格顶点限制输出视频的形变，得到每个网格顶点的运动补偿矢量；

步骤5，根据运动补偿矢量进行网格变换，得到输出稳像视频。

而且，步骤1中，对每个网格顶点根据lk光流法进行光流跟踪，得到网格顶点的光流矢量。

而且，步骤2中，对原始光流进行连续性检测，在时域进行卡尔曼滤波，然后比较判断光流是否发生突变，实现如下，

假设相机的抖动服从高斯分布，通过前一帧的光流累计值R_t-1，预测当前帧的光流服从高斯分布而当前帧求得的原始光流服从高斯分布N(R_t,Q_t)；

其中，t用于标识当前帧，P_t、Q_t分别为高斯分布N(R_t,Q_t)的协方差矩阵，上标T表示矩阵的转置；

若相机稳定运动，则t时刻的转换矩阵H_t为3×3的单位矩阵I，得到卡尔曼增益K为：

则当前帧光流最佳估计值R′_t为