[发明专利]一种全景视频防抖方法、装置及便携式终端

说明书

本发明提供了一种全景视频防抖方法、装置及便携式终端。所述方法包括：实时获取CMOS相机每行曝光的时间戳；解算时间戳对应相机运动的旋转矩阵；对相机运动作平滑处理，建立平滑运动轨迹的坐标系；鱼眼图像畸变校正；构建3D网格，获取网格顶点的属性，根据CMOS相机的曝光时序，对网格顶点进行渲染。该发明能够对CMOS卷帘快门导致的图像畸变进行校正，消除果冻效应，从而达到更优的视频图像防抖的效果。

技术领域

本发明属于视频处理领域，尤其涉及一种全景视频防抖方法、装置及便携式终端。

背景技术

CMOS与CCD传感器是当前被普遍采用的两种图像传感器，两者都是利用感光二极管(photodiode)进行光电转换，将图像转换为数字数据，而其主要差异是数字数据传送的方式不同。

CCD传感器中每一行中每一个象素的电荷数据都会依次传送到下一个象素中，由最底端部分输出，再经由传感器边缘的放大器进行放大输出；而在CMOS传感器中，每个象素都会邻接一个放大器及A/D转换电路，用类似内存电路的方式将数据输出。

一般的CMOS相机都是使用卷帘快门(rolling shutter)模式通过逐行曝光，获取的鱼眼图像。

CMOS芯片通过许多并行A/D共享工作负载，但整个传感器阵列必须一次转换一行，这会导致每行读数之间的时间延迟很小。每个单独的行通常能够在完成前一帧的读出时开始下一帧的曝光，虽然速度很快，但每行读数之间的时间延迟会转化为每行曝光开始之间的延迟，使它们不再同时发生，结果是帧中的每一行将暴露相同的时间量，但是在不同的时间点开始曝光，允许两帧重叠曝光，最终帧速率取决于滚动读出过程可以完成的速度。

该曝光模式导致同一帧图像的不同行之间存在时差，如果使用手持式的全景相机拍摄，当高速运动时，由于CMOS相机逐行曝光的特性就会产生果冻效应。果冻效应是一个一直未能很好解决的问题，特别是VR全景视频，因此视频的防抖效果较差。因此，有必要提出一种解决上述果冻效应的技术方案，解决摄像机在拍摄视频过程中的抖动，提升全景相机的用户体验和产品竞争力。

发明内容

本发明解决的问题是提出一种全景视频防抖的方法、装置及便携式终端，旨在解决由于CMOS芯片卷帘快门模式所造成画面的抖动而产生的果冻效应,从而可以提高相机的防抖效果。

第一方面，本发明提供了一种全景视频防抖的方法，所述方法包括：

实时获取CMOS相机每行曝光的时间戳；

解算时间戳对应相机运动的旋转矩阵；

对相机运动作平滑处理，建立平滑运动轨迹的坐标系；

鱼眼图像畸变校正；

构建3D网格，获取网格顶点的属性，根据CMOS相机的曝光时序，对网格顶点进行渲染。

进一步的，所述的实时获取CMOS相机每行曝光的时间戳具体为：

由公式获取CMOS相机每行曝光的时间戳，其中t^k为第k帧开始扫描的时间，为第k帧第i行的曝光时间戳，t为每帧扫描的时间间隔。

进一步的，所述的解算时间戳对应相机运动的旋转矩阵具体为：

在时刻，由公式可得当前时间点世界坐标系相对于相机坐标系的运动矩阵为其中为在时刻陀螺仪传感器测量的运动矩阵；为标定的陀螺仪坐标系到相机的旋转矩阵，

其中矩阵的组成形式为：进一步的，所述的对相机运动作平滑处理，建立平滑运动轨迹的坐标系具体包括：

由公式：获取t时刻的相机坐标系的3d坐标，