[发明专利]视频插帧方法、模型训练方法及对应装置

权利要求书

1.一种视频插帧方法，其特征在于，包括：

获取第一视频帧和第二视频帧；

基于所述第一视频帧和所述第二视频帧，利用第一神经网络计算出第一中间视频帧到所述第一视频帧的光流和/或第一中间视频帧到所述第二视频帧的光流；其中，所述第一中间视频帧为待插入所述第一视频帧和所述第二视频帧之间的视频帧；

利用所述第一中间视频帧到所述第一视频帧的光流对所述第一视频帧进行后向映射，获得第一映射视频帧，和/或，利用所述第一中间视频帧到所述第二视频帧的光流对所述第二视频帧进行后向映射，获得第二映射视频帧；

根据所述第一映射视频帧和/或所述第二映射视频帧确定所述第一中间视频帧；

所述第一神经网络包括依次连接的至少一个光流计算模块，基于所述第一视频帧和所述第二视频帧，利用第一神经网络计算出第一中间视频帧到所述第一视频帧的光流，包括：

根据所述第一视频帧确定输入每个光流计算模块的第一图像，以及，根据所述第二视频帧确定输入每个光流计算模块的第二图像；

利用每个光流计算模块，基于输入该光流计算模块的光流分别对输入该光流计算模块的第一图像和第二图像进行后向映射，基于映射得到的第一映射图像和第二映射图像对输入该光流计算模块的光流进行修正，并输出修正后的光流；

其中，输入第一个光流计算模块的光流为所述第一视频帧与所述第一中间视频帧之间的预设光流，输入其他光流计算模块的光流为上一个光流计算模块输出的光流，最后一个光流计算模块输出的光流为所述第一神经网络计算出的所述第一中间视频帧到所述第一视频帧的光流。

2.根据权利要求1所述的视频插帧方法，其特征在于，所述根据所述第一视频帧确定输入每个光流计算模块的第一图像，以及，根据所述第二视频帧确定输入每个光流计算模块的第二图像，包括：

将所述第一视频帧作为输入每个光流计算模块的第一图像，以及，将所述第二视频帧作为输入每个光流计算模块的第二图像；或者，

将所述第一视频帧下采样后得到的图像作为输入每个光流计算模块的第一图像，以及，将所述第二视频帧下采样后得到的图像作为输入每个光流计算模块的第二图像；其中，同一光流计算模块输入的两个下采样图像的形状相同；或者，

将所述第一视频帧经卷积层处理后输出的特征图作为输入每个光流计算模块的第一图像，以及，将所述第二视频帧经卷积层处理后输出的特征图作为输入每个光流计算模块的第二图像；其中，同一光流计算模块输入的两个特征图的形状相同。

3.根据权利要求2所述的视频插帧方法，其特征在于，所述将所述第一视频帧下采样后得到的图像作为输入每个光流计算模块的第一图像，以及，将所述第二视频帧下采样后得到的图像作为输入每个光流计算模块的第二图像，包括：

分别对所述第一视频帧和所述第二视频帧进行下采样，形成所述第一视频帧的图像金字塔和所述第二视频帧的图像金字塔，所述图像金字塔从顶层开始的每一层对应所述第一神经网络从第一个光流计算模块开始的一个光流计算模块；

从两个图像金字塔的顶层开始向下进行逐层遍历，将位于同层的两个下采样图像分别作为输入该层对应的光流计算模块的第一图像和第二图像。

4.根据权利要求2所述的视频插帧方法，其特征在于，所述将所述第一视频帧经卷积层处理后输出的特征图作为输入每个光流计算模块的第一图像，以及，将所述第二视频帧经卷积层处理后输出的特征图作为输入每个光流计算模块的第二图像，包括：

利用第一特征提取网络分别对所述第一视频帧和所述第二视频帧进行特征提取，形成所述第一视频帧的特征金字塔和所述第二视频帧的特征金字塔，所述特征金字塔从顶层开始的每一层对应所述第一神经网络从第一个光流计算模块开始的一个光流计算模块；其中，所述第一特征提取网络为卷积神经网络；

从两个特征金字塔的顶层开始向下进行逐层遍历，将位于同层的两个特征图分别作为输入该层对应的光流计算模块的第一图像和第二图像。