[发明专利]一种基于相机轨迹估计和特征块匹配的稳像方法

说明书

本发明公开了一种基于相机轨迹估计和特征块匹配的稳像方法，采用SIFT算法提取特征点并利用特征点进行粗匹配，采用使用M估计抽样一致性(M‑estimator Sample and Consensus，MSAC)算法去除异常匹配点。通过得到的匹配对进行拟合二维线性运动模型。用得到的二维线性运动模型估计相机的原始运动路径。确定目标函数平滑的约束条件以及限制原始相机运动路径变换的约束条件。同时针对上述最优化问题的求解，得到裁剪变换矩阵。再用裁剪窗口的变换矩阵对原始视频序列进行变换得到稳定的视频序列。

技术领域

本发明涉及一种基于相机轨迹估计和特征块匹配的稳像方法，属于视频处理领域。

背景技术

随着计算机与电子通信以及多媒体技术的发展，智能手机和电脑在人们的日常生活中越来越普及，穿戴式智能设备也逐渐成为热点，以上智能设备大都具有摄像功能，但是在摄像过程中，常常会因为拍摄者的抖动，使得拍摄的视频抖动，从而使得观看者感到疲劳，影响视频效果，因此需要对视频进行去抖动处理，生成稳定的视频。

虽然视频稳像经过了三十几年的研究，但是由于实际抖动频率的多样性，大多数稳像方法只能解决高频的抖动，一般来说采用运动路径平滑，但是往往抖动视频的相机运动数据存在小幅度抖动的噪声，比如手持式设备的平移拍摄或者一个行走的人进行视频拍摄所产生的抖动。

在当前很多视频稳像算法中，Matthias Grundmann；Vivek Kwatra1 and IrfanEssa提出的Auto-Directed Video Stabilization with Robust L1 Optimal CameraPaths(具有强大的L1最佳摄像机路径的自动定向视频稳定)的处理视频之后的稳定视觉效果最好。采用L1范数来构建目标函数，在相机路径上加入约束，稳定视频。但是该算法以牺牲一定的主动运动，稳定之后的视频中没有保留原本的主动运动。Hui Qu,Li Song提出的VIDEO STABILIZATION WITH L1-L2 OPTIMIZATION(L1-L2优化的视频稳像)，引入了混合L1-L2优化的视频稳定算法，旨在消除不必要的摄像机运动，并最大限度地保持原始视频信息。但是该算法的稳定性不如前者，真实的主动运动恢复的并不多。根据Ken-Yi Lee Yung-Yu Chuang Bing-Yu Chen Ming Ouhyoung提出的Video Stabilization using RobustFeature Trajectories(使用鲁棒性的特征路径的视频稳定算法)，提出的L2范数来优化特征路径，以保留原来拍摄者的主动运动，从而使得稳定后的视频，更加真实。

发明内容

为了解决上述问题，本发明提供一种基于相机轨迹估计和特征块匹配的稳像方法，通过估计视频序列中相邻帧的特征点相机路径，然后对估计出的相机路径，基于专业摄像机拍摄路径来优化相机运动路径来产生更稳定的视频，以进一步平衡计算复杂度和稳定质量两个重要方面。

本发明为解决上述技术问题采用以下技术方案：

本发明提供一种基于相机轨迹估计和特征块匹配的稳像方法，具体步骤如下：

步骤1，通过尺度不变特征转换SIFT算法提取抖动视频序列中各个视频帧的特征点，并对相邻视频帧进行特征匹配，得到若干对匹配点；

步骤2，基于M估计抽样一致性MSAC算法去除步骤1中得到的若干对匹配点中的异常点对；

步骤3，根据步骤2得到的匹配点对拟合二维线性运动模型，根据拟合得到的二维线性运动模型估计原始相机路径；

步骤4，确定平滑路径的目标函数和限制原始路径变换的约束条件，求解该优化问题，得到裁剪窗口的变换矩阵；

步骤5，基于裁剪窗口的变换矩阵对抖动视频序列中各个视频帧进行变换，输出稳定的视频序列。