[发明专利]一种基于绕环自适应相机路径优化的视频防抖方法

摘要

本发明公开了一种基于绕环自适应相机路径优化的视频防抖方法，解决了现有视频防抖技术受环境限制大，效果欠佳等问题。该视频防抖方法包括以下步骤：1.运动估计；2.平滑操作；3.对平滑后的帧作扭曲度检测，对平滑后的帧作留存度检测；4.相机路径绕环；步骤5.重复步骤2到步骤4直到去除掉视频中的高频分量和低频分量；步骤6.通过图像变换渲染出最终稳定视频。本发明通过对传统的运动估计进行优化，并通过绕环的方式，建立了一套可自适应视频扭曲度与视频内容留存度的路径优化方法，在减小视频帧扭曲并克服视频内容留存度过小问题的同时，有效抑制视频中的低频分量，从而提升视频的稳定度，能很好地应对场景变换与相机运动变换。

主权项

1.一种基于绕环自适应相机路径优化的视频防抖方法，其特征在于，包括以下步骤：步骤1.通过相邻帧特征点匹配和相邻帧块搜索共同作用，估算出相邻帧间基于单应性变换的帧间运动模型；具体方式如下：(11)对帧间进行运动估计，采用单应性变换作为帧间运动模型，以描述相邻帧间的运动式中，(x′,y′,z′)表示变换后的坐标，对应着当前帧的前一帧中图像点的位置，(x,y)表示变换前的坐标，对应着当前帧图形点的位置，单应性变换矩阵中a,b,d,e表征图像的旋转、缩放，g,h表征图形的透视变换，c,f表征图像的平移变换，表示帧间运动模型；(12)通过公式A＝{(x′,y′)‑(x,y)}，估算出前一帧和后一帧中对应点对位置,进而估算出帧间运动模型中的各个参数的值；具体方式如下：(121)通过图像的特征点匹配，获取初始的点对集合,基于单应性变换模型并利用RANSAC,剔除掉匹配错误的点对，最后形成的第一批点对集合记为A1；(122)对图像分块，将图像分成大小均等的16x16的区域块，同时将视频中的每一帧转换为灰度图像，算出每一块内灰度图像的方差值，并留下方差值大于指定阀值的区块；(123)块匹配：对留下的每一个区块，在前一帧灰度图像内容中搜索对应的最匹配的区块，通过块匹配，收集到了第二批点对集合，记录为A2；(124)将两组点对集合组合成一对点对集，记为A＝A1∪A2；(125)通过最小二乘法，将两组点对写入如下公式：利用最小二乘法求解获得帧间运动模型中的各个参数；步骤2.对抖动帧的帧间运动模型进行高斯平滑，得到稳定帧的帧间运动模型的集合；具体方式如下：从第0时刻开始，一直到视频结束，每两帧之间算出一个Ft,将两两帧之间的Ft依次级联起来获得抖动帧帧间运动模型的串集合：F＝{F0,F0F1,…F0F1..Ft‑1Ft}式中，F表示抖动帧帧间运动模型的串集合，Ft表示抖动帧帧间运动模型；对集合中的每一个元素作平滑操作，获得稳定帧帧间运动模型的集合：H＝{H0,H0H1,…H0H1..Ht‑1Ht}式中，H表示稳定帧帧间运动模型的集合，Ht表示稳定帧帧间运动模型；步骤3.对平滑后的帧作扭曲度检测，对平滑后的帧作留存度检测；步骤4.相机路径绕环；相机路径绕环通过绕环公式：进行多次平滑操作，直到消除视频中存在的低频分量为止；其中，用式(3)算出的Ht,替换原始路径中的Ft即可实施下一次的平滑操作，Bt表示每一个时刻t帧由抖动变为稳定的变换矩阵，其亦为一个单应性变换运动模型步骤5.重复步骤2到步骤4直到去除掉视频中的高频分量和低频分量；步骤6.通过图像变换渲染出最终稳定视频。