[发明专利]基于近似稠密光流法和基准帧更新的视频消旋方法及装置

说明书

本发明提供了一种基于近似稠密光流法和基准帧更新的视频消旋方法及装置，该方法包括以下步骤：读取视频或图像序列的第一帧图像设为初始帧，并将其作为运动估计的第一个基准帧；依次读取后面的图像帧，求解其到初始帧的运动矢量，用仿射变换矩阵来表示；利用求解出的仿射变换矩阵对初始帧之后的每一帧图像做仿射变换得到消旋后的图像序列作为视频消旋的输出。本发明对图像使用了仿射变换，能够应对视频画面景深的变化，使视频消旋的结果更加稳定，客观性更强，在关键的运动估计和运动补偿阶段进行了迭代算法的优化，避免了特征点消失等偶然性误差，消旋后的画面过渡较为稳定、平滑，求得的仿射变换矩阵更加贴近真实情况。

技术领域

本发明涉及图像处理应用领域，尤其涉及一种基于近似稠密光流法和基准帧更新的视频消旋方法及装置。

背景技术

视频稳像消旋是图像处理中一个重要研究方向，在军事无人飞行器和民用视频监控中都有广泛的应用，由于无人机吊舱摄像机的抖动和自旋，拍摄到的视频会出现持续旋转的不稳定现象，对视频的后续处理与信息提取带来障碍，视频消旋的目标就是消除视频中画面的抖动和旋转，持续输出稳定的视频图像。

目前在视频稳像消旋领域常见的方法是以视频的第一帧作为基准对后续的图像帧做运动估计和运动补偿，而运动估计的方法又包括特征点匹配法和光流法等，现有的方法在视频图像较清晰的情况下能够取得不错的消旋效果，但对于分辨率较低的航拍场景和画面持续旋转并抖动的情况，其消旋的准确度和稳定性都表现不佳。

在持续的旋转下，特征点匹配法的缺点是随着时间推移，当前帧与基准帧的相匹配的特征点会越来越少，导致估计出的运动矢量误差较大，其次由于特征点提取的差别，消旋后视频的平滑性会大打折扣，且特征点提取、描述符计算和特征点匹配的一系列过程相当耗时。而稀疏光流法的缺点与特征点匹配法类似，稠密光流法准确度较高，但耗时太严重，且光流法都存在误差累积的问题，后续的图像帧经过运动补偿后和基准帧的差别会越来越大。

发明内容

未解决现有技术存在的上述技术问题，本发明提供一种基于近似稠密光流法和基准帧更新的视频消旋方法及装置，旨在针对画面持续旋转的视频实现精确且稳定平滑的消旋效果。

本发明是这样实现的：

一方面，本发明提供一种基于近似稠密光流法和基准帧更新的视频消旋方法，包括以下步骤：

读取视频或图像序列的第一帧图像设为初始帧，并将其作为运动估计的第一个基准帧；

依次读取后面的图像帧，求解其到初始帧的运动矢量，用仿射变换矩阵来表示；

利用求解出的仿射变换矩阵对初始帧之后的每一帧图像做仿射变换得到消旋后的图像序列作为视频消旋的输出。

进一步地，所述依次读取后面的图像帧，求解其到初始帧的运动矢量，用仿射变换矩阵来表示具体包括：

读取到新的一帧图像时，首先根据其帧序号判断是否需要更新基准帧，若当前帧序号为基准帧更新率的整数倍则把当前帧作为新的基准帧，记录每个基准帧到初始帧的仿射变换矩阵；

对于第二个基准帧之前的非基准帧，直接计算该帧到初始帧的仿射变换矩阵；

对于第二个基准帧之后的非基准帧，首先计算该帧到当前基准帧的仿射变换矩阵，然后将该矩阵与当前基准帧到初始帧的仿射变换矩阵相乘得到当前帧到初始帧的仿射变换矩阵。

进一步地，求解当前帧到基准帧的仿射变换矩阵的具体方法如下：

在基准帧上进行均匀采点，通过LK光流法估计出这些点在当前帧上的位置，得到匹配点集；

对匹配点集进行筛选，去除误匹配点；

利用筛选后的匹配点集求解仿射变换矩阵。