[发明专利]视频中间帧的生成方法和装置

权利要求书

1.一种视频中间帧的生成方法，其特征在于，包括：

获取目标视频帧对，为所述目标视频帧对中的每个视频帧，分别构建图像金字塔；

基于所述图像金字塔，按照塔层由高到低的顺序，采用逐层递归调用的方式，利用预先训练的双向光流估计模型和像素合成模型，生成所述目标视频帧对的中间帧；其中，在基于所述图像金字塔中的每层图像进行中间帧生成处理时，基于当前层所述图像，利用所述光流估计模型，对上一层所述处理得到的双向光流进行修复，并基于所述修复得到的双向光流和当前层所述图像，利用所述像素合成模型，对上一层所述处理得到的中间帧进行修复，得到当前层所述处理输出的中间帧。

2.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：

在基于所述图像金字塔中的每层图像进行中间帧生成处理时，在利用所述光流估计模型，对上一层所述处理得到的双向光流进行修复之前，利用预设的特征编码网络，为每个所述图像金字塔在当前层的图像，分别生成第一数量个不同分辨率的像素级别特征图，以提供给所述光流估计模型和所述像素合成模型分别进行所述修复；其中，所述第一数量大于等于3；所述特征编码网络为具有至少第二数量次下采样的卷积网络；所述第二数量等于所述第一数量减一。

3.根据权利要求1所述的方法，其特征在于，对上一层所述处理得到的双向光流进行修复包括：

在基于所述图像金字塔中的每层图像进行中间帧生成处理时，将当前层所述图像对应的像素级别特征图和上一层所述处理得到的双向光流，输入至所述双向光流估计模型进行光流修复处理；其中，所述像素级别特征图为当前层所述图像输入至预设的特征编码网络进行处理时，所述特征编码网络的最后一层卷积输出的特征图；所述双向光流为每个所述视频帧到所述中间帧的光流。

4.根据权利要求3所述的方法，其特征在于，所述光流修复处理包括：

对上一层所述处理得到的双向光流进行线性加权，得到当前层处理的双向光流初始估计值；

基于所述双向光流初始估计值，利用所述双向光流估计模型的前向扭曲层，对当前层的每个所述图像各自对应的像素级别特征图，分别进行向中间的前向扭曲；

基于所述前向扭曲得到的特征图，利用所述双向光流估计模型的匹配代价层，构建局部匹配代价；

基于所述双向光流初始估计值、所述前向扭曲得到的特征图、所述局部匹配代价以及上一层所述处理时得到的双向光流的卷积神经网络CNN特征，进行通道堆叠；将所述通道堆叠的结果，输入至所述双向光流估计模型的光流估计层，进行光流估计，得到当前层的双向光流修复结果。

5.根据权利要求1所述的方法，其特征在于，所述对上一层所述处理得到的中间帧进行修复包括：

对所述修复得到的双向光流进行线性加权；

对于每个所述视频帧，利用所述像素合成模型的前向扭曲层，基于该视频帧对应的所述线性加权后的光流，对该视频帧在当前层的所述图像以及该图像的上下文特征，进行向中间的前向扭曲；所述上下文特征为将该视频帧在当前层的所述图像输入至预设的特征编码网络进行处理后，所述特征编码网络输出的每次下采样之前的特征图以及最后一层卷积输出的特征图；

将所述前向扭曲的结果，以及上一层所述处理得到的中间帧，输入至所述像素合成模型的像素合成网络进行处理，得到在当前层的中间帧修复结果。

6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：在基于所述图像金字塔中的最低层图像获得所述中间帧之后，输出基于当前层所述图像进行所述修复得到的双向光流。