[发明专利]视频插帧方法、模型训练方法及对应装置

说明书

本申请涉及视频处理技术领域，提供一种视频插帧方法、模型训练方法及对应装置。其中，视频插帧方法包括：获取第一视频帧和第二视频帧；基于第一视频帧和第二视频帧，利用第一神经网络计算出第一视频帧与第一中间视频帧之间的光流和/或第二视频帧与第一中间视频帧之间的光流；利用第一视频帧与第一中间视频帧之间的光流对第一视频帧进行后向映射，获得第一映射视频帧，和/或，利用第二视频帧与第一中间视频帧之间的光流对第二视频帧进行后向映射，获得第二映射视频帧；根据第一映射视频帧和/或第二映射视频帧确定第一中间视频帧。该方法计算中间帧光流的准确性较高，因此最终获得的第一中间视频帧图像质量较好，且使用该方法插帧效率较高。

技术领域

本发明涉及视频处理技术领域，具体而言，涉及一种视频插帧方法、模型训练方法及对应装置。

背景技术

视频插帧是视频处理中的一个经典任务，旨在根据一段视频中的前后两帧合成过渡平滑的中间帧。视频插帧的应用场景包括：第一，用于提高设备显示的视频帧率，让用户感觉视频更加清晰流畅；第二，在视频制作和编辑上，用于辅助实现视频的慢动作效果，或者用于在动画的关键帧之间增加中间帧，减少动画制作的人力支出；第三，用于视频的中间帧压缩，或者为其他计算机视觉任务提供辅助数据。

基于光流的视频插帧算法是近年来研究较多的一类算法，利用这类算法进行插帧的典型做法是：先训练一个光流计算网络，利用该网络计算出前后帧之间的光流，然后对前后帧之间的光流进行线性插值得到中间帧光流，最后基于中间帧光流得到中间帧，即要插入前后帧之间的帧。然而，由于中间帧光流是通过前后帧之间的光流合成的，所以在最终得到中间帧内，运动物体的边缘容易产生重影，导致插帧效果较差，并且现有算法步骤较为复杂，插帧过程耗时较长。

发明内容

本申请实施例的目的在于提供一种视频插帧方法、模型训练方法及对应装置，以改善上述技术问题。

为实现上述目的，本申请提供如下技术方案：

第一方面，本申请实施例提供一种视频插帧方法，包括：获取第一视频帧和第二视频帧；基于所述第一视频帧和所述第二视频帧，利用第一神经网络计算出第一中间视频帧到所述第一视频帧的光流和/或第一中间视频帧到所述第二视频帧的光流；其中，所述第一中间视频帧为待插入所述第一视频帧和所述第二视频帧之间的视频帧；利用所述第一中间视频帧到所述第一视频帧的光流对所述第一视频帧进行后向映射，获得第一映射视频帧，和/或，利用所述第一中间视频帧到所述第二视频帧的光流对所述第二视频帧进行后向映射，获得第二映射视频帧；根据所述第一映射视频帧和/或所述第二映射视频帧确定所述第一中间视频帧。

第一视频帧和第二视频帧为视频中的前后两帧(可以是连续两帧，也可以不是连续两帧)，上述方法在进行插帧时，直接基于第一视频帧和第二视频帧，利用第一神经网络计算出中间帧光流(指第一中间视频帧到第一视频帧的光流和/或第一中间视频帧到第二视频帧的光流)，而无需利用第一视频帧和第二视频帧之间的光流，从而得到的中间帧光流准确性较高，在此基础上获得的第一中间视频帧图像质量较好，在运动物体的边缘也不容易产生重影。另外，上述方法步骤简单，显著提高了插帧效率，从而在应用于实时插帧、高清视频插帧等场景时，也能取得较好的效果。

在第一方面的一种实现方式中，所述第一神经网络包括依次连接的至少一个光流计算模块，基于所述第一视频帧和所述第二视频帧，利用第一神经网络计算出第一中间视频帧到所述第一视频帧的光流，包括：根据所述第一视频帧确定输入每个光流计算模块的第一图像，以及，根据所述第二视频帧确定输入每个光流计算模块的第二图像；利用每个光流计算模块，基于输入该光流计算模块的光流分别对输入该光流计算模块的第一图像和第二图像进行后向映射，基于映射得到的第一映射图像和第二映射图像对输入该光流计算模块的光流进行修正，并输出修正后的光流；其中，输入第一个光流计算模块的光流为所述第一视频帧与所述第一中间视频帧之间的预设光流，输入其他光流计算模块的光流为上一个光流计算模块输出的光流，最后一个光流计算模块输出的光流为所述第一神经网络计算出的所述第一中间视频帧到所述第一视频帧的光流。