[发明专利]利用角度传感器纠正全景视频抖动的方法

说明书

技术领域

本发明涉及全景视频技术领域，更具体地讲，涉及一种利用角度传感器纠正全景视频抖动的方法。

背景技术

全景图像是使用在某一点拍摄的多幅实景图像拼接而成的。具体的生成过程是：将反映各自投影平面的相互重叠图像映射到简单的几何体表面上，如球面、立方体表面或圆柱面，使得平面图像具有深度感，然后对投影图像进行无缝拼接，就可得到没有图像畸变的全景图像。当用户观察某一图像空间时，要将全景图像中相应部分反投影到观察平面上，给用户产生正确的观察结果。全景图像为用户提供了极大的观察自由度，使之可以任意地改变观察方向。全景视频是由具有一些有时间关联的全景图像序列组成，从视频中可以获取真实的全景景象，并且可以通过时间来定位视频帧。

在全景视频的采集过程中，采集设备的抖动或旋转会引起全景视频的抖动，所以需要对全景视频进行纠正。目前，视频纠正的方法主要是特征法和光流法。特征法在提取每帧图像的特征点的基础上，在相邻帧之间进行特征匹配，然后根据匹配的结果计算摄像机的全局运动参数，最后用滤波后的全局运动变换对原始序列进行补偿。光流法首先计算相邻帧之间的光流，然后根据光流信息，通过运动分析获得全局运动参数，随后也是根据滤波后的运动参数来补偿原始序列。这两种方法通常需要对视频进行后期处理，实时性差。所以，本发明提出一种利用利用角度传感器对视频进行纠正的方法。在本发明前，中国发明专利“拍摄全景照片的设备和方法”，申请号：200710084741.2，公开号：CN101046623，提出了一种利用角速度计辅助拍摄全景照片的方法，该方法使用角速度计，利用角速度计采集的水平和垂直两个方向的角速度，辅助同一个位置采集的多个照片拼接，实现全景照片拼接时相邻照片的重叠部分对准。该专利提出的方法主要适用于同一个位置的多个照片的全景合成。美国专利“Maintenance of panoramic camera orientation”，公开号：20060023075，提出了一种保持非柱面全景主方向的方法，该方法使用磁力计，利用全景采集设备与地磁的夹角，保持非柱面全景图像的主方向不变。该方法并不涉及对图像序列的抖动纠正。

因此，本发明提出了一种利用角度传感器对全景视频抖动进行纠正的方法，能够纠正因采集设备偏离和旋转所引起视频抖动。

发明内容

本发明的目的是：克服现有技术的不足，提供一种利用角度信息对球面全景视频纠正方法，该方法在采集全景视频的过程中，可以有效地消除因采集设备偏离和旋转所引起的视频抖动。

为了实现上述目的，本发明所采取的技术方案是：一种利用角度传感器纠正全景视频采集抖动的方法，步骤如下：

(1)在视频采集前，先使用角度信息采集单元获取一个初始旋转角度信息；

(2)在视频采集过程中，角度传感器与全景视频采集装置同步运动，每采一帧全景视频都获取所采这帧的旋转角度信息；

(3)如果全景视频采集设备发生抖动或旋转，计算出当前所采的视频帧的旋转角度信息与初始旋转角度信息的差值；

(4)利用这个旋转角度信息的差值对当前所采的视频帧进行纠正，实现全景视频采集设备视频抖动的处理。

本发明的原理：使用角度信息采集单元获得全景视频采集设备的初始角度信息，在采集过程中角度信息采集单元与视频采集装置同步运动，获取视频采集装置的当前角度信息，如果全景视频采集设备发生抖动或旋转，利用当前角度信息和初始角度信息之间的旋转角度差值对采集的全景视频进行纠正，处理视频的抖动。

上述过程第四步所利用的角度信息的差值包括roll、pitch和yaw三个自由度上的旋转角度差值。因此，上述过程第四步对视频帧的纠正是对视频帧分别进行三个自由度上的纠正。对视频帧进行纠正的基本思想是：如果在某个自由度上有差值出现，则在该自由度上对球面全景帧进行反向旋转变换。假设：[x y z]是球面全景帧上的像素坐标，[x′y′z]是旋转纠正后的像素坐标，δ_roll、δ_yaw、δ_pitch分别表示旋转角度差值在ro11、pitch和yaw三个自由度上的分量。

对roll上的偏差进行纠正，其反向旋转变换如公式(1)所示。