[发明专利]一种基于特征跟踪和网格路径运动的视频稳像方法

说明书

本发明公开了一种基于特征跟踪和网格路径运动的视频稳像方法，首先通过SIFT算法检测视频帧的特征点；再对检测出来的SIFT特征点进行KLT算法特征追踪匹配；然后根据匹配到的特征点，利用RANSAC算法估计相邻帧间的仿射变换矩阵；再将视频帧划分为均匀的网格，选取均匀网格中的一格，把相邻帧间仿射矩阵与前一帧相机运动路径累乘，由此计算视频的运动轨迹。再通过极小化能量函数优化平滑多条网格路径。最后由原相机路径与平滑相机路径的关系，计算相邻帧间的补偿矩阵，利用补偿矩阵对每一帧进行几何变换，从而得到稳定的帧序列。本发明能准确计算相机路径，同时使得抖动视频更加稳定。

技术领域

本发明属于数字图像处理技术领域，涉及一种视频稳像方法，特别是涉及一种基于特征跟踪和网格路径运动的视频稳像方法。

背景技术

通过智能手机等个人设备拍摄短视频已经成为人们记录生活的主流方式。在手持移动设备拍摄视频的过程中，由于设备内部或者外在因素的影响，获得的视频通常不稳定。抖动视频降低了视频图像的质量，使得观看者有晕眩感。视频稳像技术的目的主要是消除或减少视频的抖动，以便生成稳定的视频。

视频稳像方法一般分成3个部分：分别是运动估计、运动平滑和运动补偿。根据运动估计中运动模型的不同，可以分成2D、2.5D和3D方法。3D方法鲁棒性差，速度慢。2.5D方法需要跟踪很长的运动轨迹，仅适用于专业设备，不适用手持设备拍摄的视频。由于2D方法处理速度快，鲁棒性好，常被采用来处理视频去抖问题。

2D稳像中的相机运动估计先进行局部运动估计，再通过局部运动向量估计全局运动向量。局部运动估计方法主要包括两类：基于像素点的方法和基于特征点的方法。基于像素点的方法主要包括块匹配法、相位相关法、灰度投影法以及光流法等。块匹配法原理简单、实现方便，应用广泛，但是在有快速运动的场景中效果并不好；相位相关法是一种非线性的算法，基础原理是傅里叶变换，有较高的匹配精度，且具有一定的抗干扰能力，但是计算时间过长，不适用实时；光流法尽管不需要了解相关场景信息，就能准确地检测识别运动目标位置，但有计算量大，耗时长，对光线敏感等缺点。基于特征点的方法主要将高维的图像数据进行简化表达，常见方法包括角点检测法、斑点检测法、边检测法等。角点是指在某方面属性特别突出的点，一般角点检测法有Harris角点检测法、FSAT算法等。斑点检测主要对它周围图像像素灰度值大或者小的区域进行检测，常见方法有SIFT算法、SURF算法等。角点检测容易受噪声影响且对边缘信息提取的依赖性不足；斑点检测速度较慢，很难实时处理图像；边检测法针对复杂场景以及光照不均很难进行处理。

发明内容

本发明提出的一种基于特征跟踪和网格路径运动的视频稳像算法，主要针对手持设备拍摄的抖动视频问题，能够较好的解决视频抖动的问题。

本发明所采用的技术方案是：一种基于特征跟踪和网格路径运动的视频稳像方法，其特征在于，包括以下步骤：

步骤1：针对原始抖动视频，通过SIFT算法检测视频帧的特征点；

步骤2：对检测出来的SIFT特征点进行KLT算法特征追踪匹配；

步骤3：根据匹配到的特征点，利用RANSAC算法估计相邻帧间的仿射变换矩阵；

步骤4：将视频帧划分为均匀的网格，选取均匀网格中的一格，把相邻帧间仿射矩阵与前一帧相机运动路径累乘，由此计算视频的运动轨迹；

步骤5：通过极小化能量函数优化平滑多条网格路径；

步骤6：由原相机路径与平滑相机路径的关系，计算相邻帧间的补偿矩阵，利用补偿矩阵对每一帧进行几何变换，从而得到稳定的帧序列。

本发明提出了一种基于特征跟踪和网格路径运动的视频稳像算法，优点在于：