[发明专利]一种基于神经网络的视频插帧方法

权利要求书

1.一种基于神经网络的视频插帧方法，其特征在于，包括：

获取第一视频帧、第二视频帧，所述第一视频帧和所述第二视频帧分别是插帧位置的前后帧；

将所述第一视频帧和所述第二视频帧输入视频插帧神经网络，获取卷积过程中得到的视频插帧信息，输出插入帧；

所述视频插帧信息包括：光流信息，掩膜系数，特征残差信息；

根据所述插入帧以及所述视频插帧信息，利用warp函数反向计算得到与所述第一视频帧对应的第一预估视频帧，和/或，与所述第二视频帧对应的第二预估视频帧；

根据所述第一预估视频帧，和/或，所述第二预估视频帧，判断当前的视频场景是否适合插入所述插入帧，若适合则将所述插入帧插入至所述第一视频帧和所述第二视频帧之间；否则，复制第一视频帧或第二视频帧插入至所述第一视频帧和所述第二视频帧之间；

所述根据所述第一预估视频帧，和/或，所述第二预估视频帧，判断当前的视频场景是否适合插入所述插入帧，包括：

计算所述第一预估视频帧与所述第一视频帧的像素差值，和/或，计算所述第二预估视频帧与所述第二视频帧的像素差值；

若所述像素差值小于预先设定的阈值，则当前的视频场景适合插入所述插入帧；否则不适合插入所述插入帧。

2.根据权利要求1所述的基于神经网络的视频插帧方法，其特征在于，所述视频插帧神经网络包括：

第一卷积模块和第二卷积模块，

其中，所述第一卷积模块用于将输入的所述第一视频帧和所述第二视频帧进行下采样处理并输出视频插帧信息以及中间过渡帧；

所述第二卷积模块根据所述第一卷积模块输出的所述视频插帧信息以及所述中间过渡帧，将所述中间过渡帧进行上采样处理，输出插入帧。

3.根据权利要求2所述的基于神经网络的视频插帧方法，其特征在于，所述第一卷积模块包含1个或多个卷积block，所述第二卷积模块包含1个或多个卷积block，

其中，第一卷积模块中的卷积block对所述第一视频帧和所述第二视频帧下采样的倍数与对应的第二卷积模块中的卷积block对所述中间过渡帧上采样的倍数相同；输入所述视频插帧神经网络的所述第一视频帧和所述第二视频帧的分辨率与所述视频插帧神经网络输出的所述插入帧的分辨率相同。

4.根据权利要求1或权利要求2所述的基于神经网络的视频插帧方法，其特征在于，所述视频插帧神经网络的训练方法包括：

依次获取数据集当前帧的前一帧，当前帧，当前帧的后一帧；

将所述当前帧的前一帧和所述当前帧的后一帧输入预设视频插帧神经网络，输出插入帧；

根据所述插入帧与所述当前帧计算loss；

使用梯度下降法更新网络参数；

重复上述步骤直至网络收敛。