[发明专利]一种全景视频防抖的方法、装置及便携式终端

说明书

本发明适用于视频领域，提供了一种全景视频防抖的方法、装置及便携式终端。所述方法包括：实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量；同步陀螺仪时间戳与全景视频帧的时间戳；对陀螺仪的状态进行四元数插值获取对应全景视频帧的旋转矩阵；根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。本发明能得到更为精确的旋转矩阵，然后根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。因此最终能稳定抖动的视频帧，能减轻VR晕动症，对大噪声场景和大部分运动场景都有很强的鲁棒性。

技术领域

本发明属于视频领域，尤其涉及一种全景视频防抖的方法、装置及便携式终端。

背景技术

现有技术提供的全景视频，当戴上VR眼镜看时，会让人感觉恶心、眩晕，VR晕动症是一个一直未能很好解决的问题，除了硬件方面未能取得突破外，软件部分也是一个原因，特别是VR全景视频，如果使用手持式的全景相机拍摄，画面的抖动会进一步加速VR晕动症的产生。

发明内容

本发明的目的在于提供一种全景视频防抖的方法、装置、计算机可读存储介质及便携式终端，旨在解决画面的抖动会进一步加速VR晕动症的产生的问题。

第一方面，本发明提供了一种全景视频防抖的方法，所述方法包括：

实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；

利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量；

同步陀螺仪时间戳与全景视频帧的时间戳；

对便携式终端到世界坐标系的旋转量进行四元数插值获取对应全景视频帧的旋转矩阵；

根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。

第二方面，本发明提供了一种全景视频防抖的装置，所述装置包括：

获取模块，用于实时获取便携式终端中的陀螺仪的当前状态时间戳、加速度计数值和角速度数值；

估计模块，用于利用扩展卡尔曼滤波结合加速度计数值和角速度数值，估计得到便携式终端到世界坐标系的旋转量；

同步模块，用于同步陀螺仪时间戳与全景视频帧的时间戳；

插值模块，用于对便携式终端到世界坐标系的旋转量进行四元数插值获取对应全景视频帧的旋转矩阵；

旋转模块，用于根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述的全景视频防抖的方法的步骤。

第四方面，本发明提供了一种便携式终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的全景视频防抖的方法的步骤。

在本发明中，由于对便携式终端到世界坐标系的旋转量进行四元数插值获取对应全景视频帧的旋转矩阵，因此能得到更为精确的旋转矩阵。然后根据当前的旋转矩阵旋转全景图像，生成稳定的视频帧。因此最终能稳定抖动的视频帧，能减轻VR晕动症，对大噪声场景和大部分运动场景都有很强的鲁棒性。

附图说明

图1是本发明实施例一提供的全景视频防抖的方法的流程图。