[发明专利]一种全景视频防抖方法、装置及便携式终端

权利要求书

1.一种全景视频防抖方法，其特征在于，所述方法包括：

实时获取CMOS相机每行曝光的时间戳；

解算时间戳对应相机运动的旋转矩阵；

对相机运动作平滑处理，建立平滑运动轨迹的坐标系；

鱼眼图像畸变校正；

构建3D网格，获取网格顶点的属性，根据CMOS相机的曝光时序，对网格顶点进行渲染。

2.如权利要求1所述的方法，其特征在于，所述的实时获取CMOS相机每行曝光的时间戳具体为：

由公式获取CMOS相机每行曝光的时间戳，其中t^k为第k帧开始扫描的时间，为第k帧第i行的曝光时间戳，Δt为每帧扫描的时间间隔。

3.如权利要求1所述的方法，其特征在于，所述的解算时间戳对应相机运动的旋转矩阵具体为：

在时刻，由公式可得当前时间点世界坐标系相对于相机坐标系的运动矩阵为其中为在时刻陀螺仪传感器测量的运动矩阵；为标定的陀螺仪坐标系到相机的旋转矩阵，

其中矩阵的组成形式为：

4.如权利要求1所述的方法，其特征在于，所述的对相机运动作平滑处理，建立平滑运动轨迹的坐标系具体包括：

由公式：获取t时刻的相机坐标系的3d坐标，

其中，P_t^s,P_t^w为在t时刻相机坐标系和世界坐标系下的3d坐标，R_w2s(t)为t时刻世界坐标系到相机坐标系的变换矩阵，是相机前后两帧视频的平移量。

5.如权利要求4所述的方法，其特征在于，设置生成公式P_t^s＝R_w2s(t)·P_t^w。

6.如权利要求5所述的方法，其特征在于，所述的渲染具体包括：

建立平滑运动轨迹的坐标系P_t′，由公式min(P_t+1′-P_t′)²+(P_t′-P_t^w)²获取P_t′中任一像素点在前后两帧的最小平方差，其中，P_t′和P_t+1′分别为前后两帧平滑运动轨迹的坐标系，生成渲染公式其中，K是透视矩阵，R_mvp是手动控制的运动方向的矩阵，P_t^gl是3d坐标经过渲染的坐标。

7.如权利要求6所述的方法，其特征在于，所述的渲染进一步包括：设置P_t′＝P_t+1′＝P_t^w，由渲染公式P_t^gl对P_t′进行3d网格渲染处理。

8.如权利要求1所述的方法，其特征在于，所述的鱼眼图像畸变校正具体为：

相机坐标系下P^s的全景展开图为

其中，u、v分别为相机坐标系下全景展开图的横坐标和纵坐标；

鱼眼的畸变模型为ρ＝f(θ)＝θ(1+k₀θ²+k₁θ⁴+k₂θ⁶+k₃θ⁸)，其中，θ为光线的入射角度，k₀、k₁、k₂、k₃相机标定的系数；鱼眼图像校正的坐标(x，y)为

其中，点(x_c，y_c)为传感器的投影中心，x和y分别为相机传感器投影位置的2d坐标。