[发明专利]一种全景视频插帧方法及装置

说明书

本发明公开了一种全景视频插帧方法及装置，该方法包括：加载全景视频，并解码得到全景经纬度图像序列；将全景经纬度图像投影到球面上；根据球面全景360度空间全记录的特性，将球面全景重新展开为全景经纬度图像时，分别在经纬度图像的两侧扩展补充一定经度大小的图像，得到扩展全景经纬度图像；取相邻两张扩展全景经纬度图像逐点计算两帧图像之间的位移场；根据插入帧数和位移场，变换相邻两帧扩展全景经纬度图像并进行融合，得到新插入的图像帧；将原始图像帧和新插入的图像帧统一编码，得到帧率较高的全景视频。本发明能有效解决由于帧率限制，全景相机拍摄运动物体或高速运动的物体后播放时存在运动不连续的问题，同时实现慢动作播放的连续性。

技术领域

本发明涉及一种全景视频插帧方法及装置，属于图像处理技术领域。

背景技术

全景相机可以拍摄360度大空间视频，并以独特的播放方式，如水晶球、小行星等模式进行展示，或以VR模式配合头显设备进行观看，带来有别于普通视频的观看体验，因而得到越来越多的关注和应用。相比于普通视频，全景视频由于展示的是360度的图像，因而同等分辨率下像素密度更低，带给人不清晰的视觉感受。因此为了获得较为清晰的全景视频，图像分辨率越高越好。由于视频传输带宽和软硬件编解码能力的限制，需平衡单帧图像分辨率和视频帧率。理论上，视频帧率达到24fps时，由于视觉暂留效应可观看到流畅的视频，因而只要满足这个帧率要求即可尽可能地提高单帧图像的分辨率。但是，当画面中存在运动的物体，或是拍摄高速运动的物体时，常规帧率下物体可能会出现运动不连续或卡顿的现象，慢速播放时，卡顿的现象则更为明显。

发明内容

为了解决上述存在的问题，本发明公开了一种全景视频插帧方法及装置，用于解决由于帧率限制，全景相机拍摄运动物体或是高速运动的物体后播放时存在运动不连续的问题，同时可实现慢动作播放的连续性。其具体技术方案如下：

一种全景视频插帧方法，包括以下操作步骤：

步骤1：加载全景视频，并解码得到全景经纬度图像序列；

步骤2：将全景经纬度图像投影到球面上；

步骤3：获取扩展全景经纬度图像；

步骤4：取相邻两幅扩展全景经纬度图像逐点计算位移值；

步骤5：根据插入帧数和位移值，变换相邻两组扩展全景经纬度图并进行融合，得到新插入的图像帧；

步骤6：将原始图像帧和新插入图像帧统一编码，获得高帧率的全景视频。

所述步骤2中所述的球面所在球体的经度角度值的范围为-180°—180°，球体的纬度角度值的范围为-90°—90°，经度：纬度为2：1，全景图像的宽：高也需满足2：1的要求，若全景经纬度图像的宽：高不满足2：1，则进行重采样，直到满足2：1的要求，然后将全景经纬度图像投影到球面上。

所述步骤3的具体步骤为：将球面以一条半圆弧线作为分割线展开，得到宽高比为2：1的全景图，

当画面中存在运动物体时，会出现运动物体被分割展开的情况，那么在下一步计算相邻两帧图像的位移值时会出现匹配不准而使插入帧中运动物体恢复不正确的情况，因此，结合全景图像360度记录的特性，展开时，全景图像沿分割线左右对称的两条半圆弧线处展开，得到扩展全景经纬度图，扩展补充部分图像的宽度与原全景图的经度对应，扩展全景经纬度图的高度与原全景图的高度一致。

一种全景视频插帧装置，包括顺次连接的全景视频解码模块、球面投影模块、扩展全景经纬度图像生成模块、位移场计算模块、变换融合模块和压缩编码模块，

所述全景视频解码模块，用于将全景视频解码得到全景经纬度图像序列；

所述球面投影模块，用于将全景经纬度图像投影到球面上；