[发明专利]一种维持视差的双目视频稳像方法

说明书

技术领域

本发明涉及计算机视觉和计算机图形学领域，具体的说，是一种维持视差的双目视频稳像方法。

背景技术

用户通过手持设备拍摄的视频往往存在大量的抖动，影响视觉效果。数字视频稳像技术是一种通过低频滤波器对相机运动进行平滑滤波，去除抖动的相机运动(Camera motion)，并渲染输出平稳视频的技术。相比专业拍摄设备使用移动导轨拍摄稳定视频的方式，采用视频稳像算法提升用户拍摄视频的平稳质量更加经济和简便。此外，视频稳像技术将有助于提高计算机视觉中许多算法的准确性，例如视频的分割、识别、检测等。

随着3D电影在影视界的成功应用，双目相机和立体显示设备变得越来越流行。近些年来，双目图像和视频的处理方法和技术逐渐成为学术界和产业界的热门课题。例如，双目图像的扭曲变换(Stereoscopic warping)、克隆(Cloning)、以及全景拼接(Panorama)等应用。然而，针对双目视频的稳像问题至今尚未出现非常有效的方法。原因在于如果将传统的单目视频稳像算法直接应用在双目视频的两个视角时，双目视频原始的视差(Disparity)信息会发生畸变，从而导致输出结果出现错误的感知深度。

发明内容

本发明的目的在于提供一种维持视差的双目视频稳像方法，用于对双目视频进行去抖动处理，在提升双目视频的平稳质量的同时保持双目视频原始的视差信息，最终获得稳定并具备正确感知深度的双目视频。

本发明通过下述技术方案实现：一种维持视差的双目视频稳像方法，将双目视频分解为左视角视频和右视角视频；对左视角视频进行防抖处理并输出相应的左视角平稳变换矩阵，对右视角视频进行防抖处理并输出相应的右视角平稳变换矩阵；左视角视频根据左视角平稳变换矩阵渲染输出左视角输出视频，右视角视频根据右视角平稳变换矩阵渲染输出右视角输出视频；将左视角输出视频和右视角输出视频合成稳定的双目视频输出。

主要包括以下几个步骤：

步骤S1：初始化相关参数；

步骤S2：将双目视频拆分为左视角视频和右视角视频，利用光流法和/或SIFT算法计算左视角视频与右视角视频的匹配特征点对；利用SIFT算法分别计算左视频前后相邻帧之间的左视匹配SIFT特征点和右视频前后相邻帧之间的右视匹配SIFT特征点，其中同一时刻t下的左视角视频图帧记为右视角视频图帧记为

步骤S3：利用视差计算模块逐帧计算左视角视频与右视角视频之间的原始视差，其中原始视差记为Dt；

步骤S4：利用多路径视频稳像模块分别将左视角视频和右视角视频的每一帧划分为N*N的网格并对左视角视频和右视角视频进行防抖处理，同时输出左视角平稳变换矩阵和右视角平稳变换矩阵，利用左视角平稳变换矩阵计算出左视角视频网格的对应位置，其中左视角平稳变换矩阵记为右视角平稳变换矩阵记为

步骤S5：利用视差变换模块对左视角平稳变换矩阵与原始视差进行处理得到视频稳像后的视差，其中视差记为D_t′；

步骤S6：利用JDSW模块根据右视角平稳变换矩阵与视差计算出右视角视频网格的对应位置；

步骤S7：利用网格映射模块根据左视角视频网格的对应位置与右视角视频网格的对应位置分别渲染输出左视角的平稳视频和右视角的平稳视频；

步骤S8：将左视角的平稳视频和右视角的平稳视频合成双目视频输出。

所述的步骤S3中，视差计算模块根据匹配特征点对计算t时刻下左视角视频与右视角视频在每一个匹配特征点对(i，j)处的视差。

所述的匹配特征点对包括稠密点对和稀疏点对；所述的稠密点包括利用光流法对左视角视频计算得出的左视稠密点和利用光流法对右视角视频计算得出的右视稠密点；所述的稀疏点对包括利用SIFT算法对左视角视频计算得出的左视稀疏点和利用SIFT算法对右视角视频计算得出的右视稀疏点。其中左视稠密点和左视稀疏点记为P_l^i,j，右视稠密点和右视稀疏点记为P_r^i,j。

所述的步骤S4中，利用多路径视频稳像模块将左视角视频的每一帧划分为N*N的网格，根据Content-Preserving Warping变换方法利用左视匹配SIFT特征点引导网格变换并估算每一个网格的相机路径，利用网格的相机路径计算相应的平滑相机路径，使用平滑相机路径计算得出该网格的左视角平稳变换矩阵；对于右视角视频采用相同的方法计算出右视角平稳变换矩阵。其中相机路径记为C(t)，平滑相机路径记为P(t)。