[发明专利]全景视频插帧方法、装置及计算机可读存储介质

说明书

本发明提供了一种全景视频插帧方法，包括：将第一、第二全景视频帧分别投影至球面形成第一、第二全景球形图像；将第一、第二全景球形图像通过球形图像分割方法分割成配对的N组第一图像和第二图像；对配对的N组第一图像和第二图像进行插帧以得到中间时刻的N帧第三图像；将N帧第三图像拼接成中间时刻全景视频帧；将中间时刻全景视频帧插入第一、第二全景视频帧之间；其中，N为不小于2的自然数，且任意相邻的两个所述第一图像具有重叠区域以及任意相邻的两个所述第二图像具有重叠区域。与现有技术相比，本发明提升了全景视频插帧的运动估算准确度，同时避免了全景平面投影的边界分割导致的边界连续运动信息丢失的问题，从而提升全景视频的插帧效果。

技术领域

本申请涉及图像处理技术领域，具体涉及一种全景视频插帧方法、装置及计算机可读存储介质。

背景技术

视频插帧是常见的视频处理技术，一般是通过分析前后两帧或更多帧的内容运动信息，估算中间时刻的运动过程，从而补全中间时刻的画面。现有视频插帧方案未对全景视频做特殊处理，只能将全景视频经过全景平面投影后得到的平面画面作为普通视频进行插帧。

现有的全景视频插帧最常用的方式为：在等距圆柱投影下，采用普通的平面视频插帧方法进行插帧，但存在以下两个问题：第一，全景球面的南北极附近区域被严重拉伸变形，在此拉伸的画面下物体运动严重失真，现有的视频插帧方法很难分析得到正确的运动轨迹，导致插帧效果不好；第二，北极点和南极点连续的画面分别被拉伸成为投影平面的上、下边界，某一经线处连续的画面被分割、展开为投影平面的左、右边界，而普通的平面插帧方法在每个边界处独自分析运动，导致边界处原本连续的运动被切分为各自独立的运动，丢失了原本运动信息，导致边界处运动分析出错。

中国专利公开号为CN111372087A、发明名称为“全景视频插帧方法、装置及对应的存储介质”公开了一种全景视频插帧方法，通过对等距圆柱投影的四个边界区域进行拼接操作，拓展边界为镜像或重复的画面，从而保留了被等距圆柱投影所分割开的连续画面信息，在一定程度上可以解决平面投影后边界处连续运动信息丢失的问题。但估计运动所用的光流计算步骤，依然是在等距圆柱投影画面下进行，因此仍然存在因南北极区域被严重拉伸变形而导致的运动估计失败的问题。

因此，有必要对现有的全景视频插帧方法进行改进。

发明内容

本发明的目的在于提供一种全景视频插帧方法、装置及计算机可读存储介质，旨在解决现有全景视频插帧方法方法存在的缺陷。

第一方面，本发明提供了一种全景视频插帧方法，该方法包括：

将第一、第二全景视频帧分别投影至球面形成第一、第二全景球形图像；将第一、第二全景球形图像通过球形图像分割方法分割成配对的N组第一图像和第二图像；对配对的N组第一图像和第二图像进行插帧以得到中间时刻的N帧第三图像；将N帧第三图像拼接成中间时刻全景视频帧；将中间时刻全景视频帧插入第一、第二全景视频帧之间；其中，N为不小于2的自然数，且任意相邻的两个所述第一图像具有重叠区域以及任意相邻的两个所述第二图像具有重叠区域。

第二方面，本发明提供了一种全景视频插帧装置，该装置包括：

投影模块，用于将第一、第二全景视频帧分别投影至球面形成第一、第二全景球形图像；分割模块，用于将第一、第二全景球形图像通过球形图像分割方法分割成配对的N组第一图像和第二图像；中间插帧模块，用于对配对的N组第一图像和第二图像进行插帧以得到中间时刻的N帧第三图像；拼接模块，用于将N帧第三图像拼接成中间时刻全景视频帧；全景插帧模块，用于将中间时刻全景视频帧插入第一、第二全景视频帧之间；其中，N为不小于2的自然数，且任意相邻的两个所述第一图像具有重叠区域以及任意相邻的两个所述第二图像具有重叠区域。

第三方面，本发明提供了一种计算机可读存储介质，其上存储有计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现上述全景视频插帧方法的步骤。