[发明专利]一种全景视频防抖的方法、装置、便携式终端及存储介质

权利要求书

1.一种全景视频防抖的方法，其特征在于，所述方法包括：

实时获取世界坐标系中任意一个参考点的世界坐标，同时获取所述参考点在便携式终端中对应的相机坐标，以及便携式终端中陀螺仪当前状态的角速度数值；

使用扩展卡尔曼滤波器对相机的运动平滑；

对平滑后的运动分解处理，合成垂直和水平方向的ePTZ模式的虚拟镜头运动，计算所述虚拟镜头的旋转量，具体为：给定原始镜头焦点方向，根据所述原始镜头焦点方向计算出平滑后的视点方向及所述虚拟镜头的旋转量；

对原始视频重投影，生成稳定的视频。

2.如权利要求1所述的方法，其特征在于，所述参考点的世界坐标为P_w，相机坐标为P_c，角速度数值为w_k，具体包括：

P_w＝R_w2cP_c

其中，为相机坐标转换到世界坐标的旋转矩阵；

实时获取便携式终端中的陀螺仪的角速度数值具体是：利用角速度感应器读取三轴角速度数值w_k。

3.如权利要求1所述的方法，其特征在于，所述参考点在所述虚拟镜头中的坐标为具体包括：

其中，是一个3*3矩阵，为所述虚拟镜头的旋转量，P_w为所述参考点的世界坐标。

4.如权利要求1所述的方法，其特征在于，使用扩展卡尔曼滤波器对相机的运动进行平滑具体为：

状态模型为：

观测模型为：

其中，k为时刻，w_k和q_k为可以获得的观测向量，q_k为的四元数表示，是一个3*3矩阵，为所述虚拟镜头的旋转量，w_k为陀螺仪的角速度数值，为第k-1时刻的状态转移矩阵，Φ(w_k-1)＝exp(w_k-1)，为估计出的平滑后的镜头运动四元数表示，为由前一时刻的值估计出来的状态值，为平滑后估计的角速度数值，为由前一时刻的值估计出来的状态值。

5.如权利要求4所述的方法，其特征在于，对平滑后的运动分解处理，合成垂直和水平方向的ePTZ模式的虚拟镜头运动，计算所述虚拟镜头的旋转量，具体为：

给定原始镜头焦点方向则平滑后的视点方向为

其中，表示四元数空间的向量旋转，为虚拟相机向上的方向，可设置为[0,0,1]^T。

6.如权利要求1所述的方法，其特征在于对原始视频重投影，生成稳定的视频，具体包括：

计算原始视频帧中像素与输出视频帧中像素之间的对应关系，然后根据对应关系，对原始视频帧进行插值重采样，生成输出视频帧，最终生成稳定的视频；

其中，设原始视频帧中像素为P_s，对应的输出的视频帧中像素为P_d，则对应关系为：其中P_s＝[x_s,y_s]^T，P_d＝[x_d,y_d]^T，K_c和D_c分别为相机的内参和畸变模型，为虚拟相机的投影内参；

然后根据对应关系对原始视频帧I_s进行插值重采样，生成输出视频帧I_d具体为：

其中，w_i为插值权重，为P_s的邻域坐标，R_w2c为相机坐标转换到世界坐标的旋转矩阵，是一个3*3矩阵，为所述虚拟镜头的旋转量；σ为邻域范围值，i指邻域范围内的第i个像素。