[发明专利]一种基于深度学习的视频去抖方法

说明书

本发明涉及一种基于深度学习的视频去抖方法，通过设计一个全卷积网络学习一个逐点的映射图，并根据这个映射图将抖动视角的像素点逐点映射到稳定视角。本发明提出的方法不再基于传统的特征匹配策略和单应矩阵估计，转而进行像素级的映射关系估计，这样的变换可以解决不连续的深度变化导致的局部不能用同一单应矩阵拟合的问题，从而在真实的视频中取得了更好的效果。同时本方法训练的深度网络具有更好的鲁棒性，尤其在处理低质量视频(如模糊视频、夜晚视频、含水印视频)时，具有比传统方法更好的效果。借助GPU并行处理的特性，本发明取得了比传统方法更快的处理速度，可以实现在线实时的视频去抖。

技术领域

本发明涉及一种基于深度学习的视频去抖方法，属于计算机视觉和视频去抖技术领域。

背景技术

近些年来，越来越多的摄像机被应用于现实生活中的各种场景，其中包括大量的便携可移动的摄像设备，手持设备由于人为抖动导致了摄录的视频质量的大幅度下降，剧烈的抖动造成了人感官上的不适。

普通的手持设备摄录视频去抖方法大致分为三类，2D,2.5D和3D方法。2D方法通常使用帧间矩阵序列进行相机运动的建模然后进行平滑【1】。3D方法对于视差的处理效果更好，通过运用运动恢复结构(Structure from Motion,SfM)进行相机路径的估计【2】，然后利用内容保持的扭曲变换(content-preserving warping)【3】进行平滑轨迹的重建。但3D方法耗时严重，并且当视差不明显时容易造成算法失效。2.5D方法结合了2D算法和3D算法的优势，Ling【4】使用通过建立时空约束将前景和背景轨迹结合用于抖动的估计并进行运动的平滑。但是其使用单个单应矩阵进行抖动视角到稳定视角的变换限制了其解决3D视频的能力。

进行年来，CNN在解决传统计算机视觉问题中取得了较大的成功，但是利用深度网络进行视频去抖的研究较少。仅有的研究是Wang等通过构建一个DeepStab数据集并搭建以Resnet为基础网络的深度网络来实现单应矩阵序列的回归预测【5】。同时其研究团队也提出了基于生成对抗网络进行单应矩阵估计的方法【6】。

以上方法在抖动帧到稳定帧映射时通常采用单个单应矩阵或基于固定分块的单应矩阵序列进行透视变换，导致了针对不连续的深度变化存在一定误差，因此对于复杂场景中深度不连续性较强的视频处理效果不佳，本发明采用深度学习的方式搭建网络直接进行逐像素的预测，生成和输入视频尺寸一致的映射图，并利用该映射图进行像素级的抖动帧到稳定帧的映射，因此增强了针对抖动视频的去抖能力。本发明在视频中存在较大视差时去抖性能提升更加显著。

【1】Chen B Y,Lee K Y,Huang W T,et al.Capturing Intention-based Full-Frame Video Stabilization[C]//Computer Graphics Forum.Blackwell PublishingLtd,2008,27(7):1805-1814.

【2】Hartley R,Zisserman A.Multiple view geometry in computer vision[M].Cambridge university press,2003.

【3】Liu F,Gleicher M,Jin H,et al.Content-preserving warps for 3D videostabilization[C]//ACM Transactions on Graphics(TOG).ACM,2009,28(3):44.

【4】Ling Q,Zhao M.Stabilization of Traffic Videos based on bothForeground and Background Feature Trajectories[J].IEEE Transactions onCircuits and Systems for Video Technology,2018:1-1.