[发明专利]视频中间帧的生成方法和装置

说明书

本申请公开了一种视频中间帧的生成方法和装置，其中方法包括：获取目标视频帧对，为所述目标视频帧对中的每个视频帧，分别构建图像金字塔；基于所述图像金字塔，按照塔层由高到低的顺序，采用逐层递归调用的方式，利用预先训练的双向光流估计模型和像素合成模型，生成所述目标视频帧对的中间帧；其中，在基于所述图像金字塔中的每层图像进行中间帧生成处理时，基于当前层图像，利用所述光流估计模型，对上一层所述处理得到的双向光流进行修复，并基于所述修复得到的双向光流和当前层所述图像，利用所述像素合成模型，对上一层处理得到的中间帧进行修复，得到当前层处理输出的中间帧。采用本申请，可以有效提高中间帧的真实度，降低实现复杂度。

技术领域

本发明涉及计算机视觉技术，特别是涉及一种视频中间帧的生成方法和装置。

背景技术

视频插帧是计算机视觉中的一个重要应用，旨在通过合成连续帧之间不存在的帧(即中间帧)来提升视频的帧率，从而让视频中的运动变得更加平滑，提升观看者的观感体验。例如，对于一些年代久远的视频，受限于当时的拍摄设备，帧率一般只有25FPS。而现代高端电视通常支持120FPS的播放速度。这样，在现代电视上播放这些低帧率的视频，一方面会有卡顿的感觉，另一方面也无法发挥出电视的最强性能。为解决上述问题，可以使用人工智能技术，通过插帧的方式将视频的帧率实时提升到120FPS。此外，视频插帧技术在视频压缩、视角合成、自适应流媒体等方面也有广泛的应用。尤其是，对于元宇宙的应用，高清视频交互的实时性要求越来越重要。然而，实时传输高清高帧率的视频流，会给网络带宽带来的非常大的压力。在有限的带宽条件下，传输较低帧率的视频流，之后再在客户端采用视频插帧技术，将低帧率视频转换为高帧率视频，是一个非常有效的应用方案。

目前，深度学习算法在视频插帧领域已经取得了丰硕的成果。特别地，基于光流的像素合成是目前视频插帧领域的主流实现方式。该类算法中，首先，估计输入帧与目标帧之间的光流，然后，再用估计的光流来引导中间帧的合成。其中，光流刻画的是连续帧之间的像素级别的运动，它在像素合成过程中扮演的角色是通过向中间的前向扭曲(forward-warping)或者向中间的后向扭曲(backward-warping)操作，将输入帧中的像素移动到中间帧上。基于扭曲(warp)操作的结果，利用一个合成网络，融合像素和特征的信息，生成最终的中间帧。一般而言，光流估计网络是一个金字塔结构的网络，以迭代的方式由粗到细地估计光流；合成网络通常是一个编码器-解码器结构的网络，也就是通常所说的U-Net结构。

发明人在实现本申请的过程中发现：现有基于光流的像素合成实现的视频插帧方案存在中间帧真实度低、实现复杂等问题。具体原因分析如下：

上述视频插帧方案中，中间帧是基于光流的估计结果合成的，这样，光流估计结果的准确性，就会直接决定中间帧生成的准确性。而现有方案采用的用于估计光流的金字塔结构光流模型，通常只是在最高分辨率的层级上输出最终的结果，该结果容易与真实图像的误差较大。相应地，就会影响基于光流估计结果所合成的中间帧的真实度，即中间帧与相应时刻真实图像的误差较大。

另外，现有视频插帧方案的采用的是一次合成方式(即只运行一次合成网络模块)，使得合成过程中需要多次下采样，以降低光流估计的不准确性，如此，使得合成网络规模较大，参数数量很多，不利用于在实际应用场景中的边缘设备中部署。

发明内容

有鉴于此，本发明的主要目的在于提供一种视频中间帧的生成方法和装置，可以有效提高中间帧的真实度，降低实现复杂度。

为了达到上述目的，本发明实施例提出的技术方案为：

一种视频中间帧的生成方法，包括：

获取目标视频帧对，为所述目标视频帧对中的每个视频帧，分别构建图像金字塔；