[发明专利]一种基于神经网络的视频插帧方法

说明书

本发明公开了一种基于神经网络的视频插帧方法，所述方法包括：将第一视频帧和第二视频帧，输入视频插帧神经网络，获取卷积过程中得到的视频插帧信息，输出插入帧；然后通过warp函数反向计算预估第一视频帧，和/或，预估第二视频帧。最后根据所述第一预估视频帧，和/或，所述第二预估视频帧，判断当前场景是否需要插帧处理，若需要则将所述插入帧插入至所述第一视频帧和所述第二视频帧之间，否则复制所述第一视频帧，或/和，第二视频帧插入所述第一视频帧和所述第二视频帧之间。本发明提供的方法提高了插入帧的精度，并且在实际应用中很好的解决了高速运动和复杂场景下插帧处理出现的badcase。

技术领域

本发明涉及视频处理技术领域，具体涉及一种基于神经网络的视频插帧方法。

背景技术

现在人们对水平帧率的追求越来越高，高帧率视频能极大的提升人们的观看体验，让人们感受到丝滑般顺畅的视频，现有相机拍摄的视频帧率也从25FPS到60FPS，再到240FPS甚至更高，如果仅靠相机的硬件迭代来提升帧率，则成本较大，因此视频插帧技术应运而生，视频插帧的目的就是根据低帧率视频来生成高帧率视频，视频插帧的一般操作是给定当前帧图像 I₁ 和下一帧图像 I₂，生成插入帧I_t。

目前的视频插帧方法中，效果较好的是基于深度学习光流估计的方法。但是在实际应用过程中，一方面，基于深度学习的光流估计方法仍存在易出现伪影瑕疵等精度不高的问题；另一方面，对于一些高速运动和复杂场景，极易出现插帧的badcase。

发明内容

由于现有方法存在上述问题，本发明实施例提出一种基于神经网络的视频插帧方法。

具体地，本发明实施例提供了以下技术方案：

步骤11，获取第一视频帧、第二视频帧，所述第一视频帧和所述第二视频帧分别是插帧位置的前后帧。

步骤12，将所述第一视频帧和所述第二视频帧输入视频插帧神经网络，获取卷积过程中得到的视频插帧信息，输出插入帧。

所述视频插帧神经网络包括第一卷积模块和第二卷积模块。所述第一卷积模块用于将输入的所述第一视频帧和所述第二视频帧进行下采样处理并输出视频插帧信息以及中间过渡帧；所述第二卷积模块根据所述第一卷积模块输出的所述视频插帧信息以及所述中间过渡帧，将所述中间过渡帧进行上采样处理，输出插入帧。

其中，所述视频插帧信息包括光流信息，掩膜系数，特征残差信息。

步骤13，根据所述插入帧以及所述视频插帧信息，利用warp函数反向计算得到与所述第一视频帧对应的第一预估视频帧，和/或，与所述第二视频帧对应的第二预估视频帧。

步骤14，根据所述第一预估视频帧，和/或，所述第二预估视频帧，判断当前的视频场景是否适合插入所述插入帧，若适合则将所述插入帧插入至所述第一视频帧和所述第二视频帧之间；否则，复制第一视频帧或第二视频帧插入至所述第一视频帧和所述第二视频帧之间。

由上述技术方案可知，本发明具有以下有益效果：1. 相比于传统的基于深度学习的光流估计插帧方法，本发明的技术方案中，在视频插帧神经网络卷积时，除使用了常规的光流信息、掩膜系数外还结合了特征残差信息以修复细节，有效地提高了插入帧的精度；2.现有的插帧方法对于一些高速运动和复杂场景，极易出现插帧的badcase，并未考虑当前的视频场景是否适合插帧，而本发明的技术方案在利用视频插帧神经网络输出插入帧后，根据预设的条件来判断当前的视频场景是否适合插帧，大大减少了插帧后出现的badcase。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。