[发明专利]一种基于时序网格流叠加的实时视频稳像方法

说明书

本发明公开了一种基于时序网格流叠加的实时视频稳像方法，包括：(1)将获得的每个视频帧下采样到固定尺寸；(2)以第一帧作为初始参考帧，获取参考帧特征点；(3)提取并匹配视频帧特征点与参考帧特征点，获得视频帧特征点的最佳匹配特征点，构建全局单应性矩阵；(4)利用全局单应性矩阵剔除一部分视频帧特征点；(5)对视频帧分布网格，根据视频帧特征点获得网格顶点的运动矢量；(6)以周期为单位更换参考帧，采用时域叠加的方法根据每个周期的参考帧获得每个周期内的网格顶点的运动矢量；(7)根据网格顶点的运动矢量计算像素的运动矢量，根据像素的运动矢量对该像素进行调整。该方法保持镜头在整个视频序列中完全静止。

技术领域

本发明属于图像处理领域，具体涉及一种基于时序网格流叠加的实时视频稳像方法。

背景技术

随着通信技术的发展，短视频逐渐成为大众娱乐消费的主要载体。短视频的创作涉及一些特效的制作，而这些短视频特效的制作对视频的稳定性有着非常高的要求，例如Cinemagraph，该视频特效是大部分元素静止不动，保持静止图片原本样态，而局部特定部分元素呈现动态效果。对于手持设备进行的拍摄，轻微的抖动是无可避免的，但这样的抖动会很大程度上影响视频特效的生成。因此，使用快速有效的稳像去除视频中的晃动具有重要的现实意义。

现有的视频稳像算法，无论是基于2D的图像变换还是基于3D的场景重建，都是先通过对帧间特征提取来估计相机的运动路径，然后在对这些相机路径进行滤波平滑，并使用最终的平滑后参数补偿抖动帧。在因手持相机拍摄固定场景所造成的抖动时，现有的稳像算法只能通过帧间的特征跟踪对相机运动进行补偿，而无法做到相机镜头的完全静止(NoMotion)。因此研究一种有效处理固定场景的快速稳像算法，对于实时短视频特效制作的应用具有重要意义。

视频稳像在技术上大致可以分为，机械稳像和数字稳像，机械稳像主要是通过机械传动的方式来反向消除镜头的抖动，以达到稳像的目的，但对于硬件的开发难度较大，成本高，与本专利的技术方案完全不同。

申请公布号为CN201610956105.3的专利申请公开了一种基于单应性矩阵的实时视频稳像方法，具体过程是先获取待处理图像序列，对当前图像提取角点，然后分层仿射约束光流跟踪帧间角点，再进行全局单应性矩阵计算，平面运动补偿计算，3D畸变参数计算，全局稳像变换模型计算，最后稳像变化输出。该方法是基于数字稳像的，但是无法做到相机镜头的完全静止(NoMotion)。

申请公布号为CN201710920094.8公开的一种基于块运动估计的数字视频稳像方法，申请公布号为CN201510638640.X公开的基于SURF与模糊聚类的视频稳像以及申请公布号为CN201610704452.7公开的基于图像拼接的视频稳像方法。这些方法都是针对向一定方向移动的镜头运动的视频的稳像处理，无论是用2D的方法还是3D的方法，目的都是保持视频帧与前后帧的镜头的运动补偿，保持镜头运动的平滑性。但都无法解决NoMotion场景下的视频稳像要保持镜头在整个视频序列当中保持完全静止的需求。

发明内容

本发明的目的是提供一种基于时序网格流叠加的实时视频稳像方法，能够解决NoMotion(镜头静止)场景下的视频稳像要保持镜头在整个视频序列当中保持完全静止的需求。

为实现上述发明目的，本发明提供以下技术方案：

一种基于时序网格流叠加的实时视频稳像方法，包括以下步骤：

(1)获取一段视频，对每个视频帧进行下采样到固定尺寸；

(2)以视频中的第一帧作为初始参考帧，提取该初始参考帧的特征点，命名为参考帧特征点，并将参考帧特征点保存在全局变量中；