[发明专利]一种基于卷积神经网络的多重帧插值方法

说明书

本发明公开了一种基于卷积神经网络的多重帧插值方法，包括：(1)截取连续n帧为一个训练样本组成训练集，(2)对训练样本进行数据增强；(3)构建深度卷积神经网络，包括用于提取尾帧相对于首帧的相位差的相位子网络，用于提取尾帧相对于首帧的运动特征的编码子网络，用于根据相位差和运动特征生成光流场图的多端解码网络，以及对多端解码网络的输出与首帧和尾帧进行融合输出插值图像的合成子网络；(4)设计损失函数；(5)利用训练样本对深度卷积神经网络进行训练，获得多重帧插值模型；(6)输入连续的两帧图像至多重帧插值模型，经计算输出两帧图像之间的插值帧图像。该多重帧插值方法可以处理光照变化较大的场景。

技术领域

本发明涉及视频增强领域，具体涉及一种基于卷积神经网络的多重帧插值方法。

背景技术

视频帧插值是图像视频处理领域中的一个重要问题，在许多应用中扮演重要角色，例如，帧率提升，电影制作，慢动作视频，视频编码压缩等等。帧插值属于图像合成的一个分支，典型的帧插值方法是基于光流的图像合成方法。首先估计出光流或者光流的变体形式，从而对物体运动进行建模，然后对输入图像进行扭曲变换和合成，得到新的视频帧。

传统的光流估计方法往往通过目标函数最优化的方法，在输入的两帧图像上寻找相同像素点的精确匹配，匹配像素点之间的距离就是该点的光流。由于这种方法需要在所有像素点上，对目标函数作全局最优化，计算复杂度很高，而且难以并行化计算。尽管过去的二十年中，光流法得到的长足的发展，但是在光照变化以及大运动场景下，挑战依然存在。

与显示寻找像素点匹配不同，一些基于相位的方法隐式地对运动进行建模，将物体的运动表现在单个点的像素值变化。这一类方法又被称为“欧拉方法”(参见论文S.Meyer,O.Wang,H.Zimmer,et al.,“Phase-based frame interpolation for video,”inProceeding of CVPR,1410-1418,2015)。基于相位的方法往往对与处理光照变化问题表现很好。然而，相位法由于其有限的相位变化方法，对于大运动的处理表现较差。

随着深度学习技术的发展，基于神经网络的光流估计方法的精度越来越高，同时具备较低的计算复杂度。基于神经网络的光流法分为有监督和无监督两类。前者需要大量人工标注的标签，后者只需要收集普通的视频序列，无需人工标注。无监督的光流估计实际上是将光流估计作为一个中间步骤，然后合成中间帧图像。从图像合成的角度看，这种无监督的光流估计方法同时包含光流计算和图像合成，为帧插值问题提供了一个端到端的解决方案(参见论文Z.Liu,R.A.Yeh,X.Tang,et al.,“Video Frame Synthesis Using DeepVoxel Flow.,”in Proceeding of ICCV,4473-4481,2017)。

然而，现有的基于神经网络的帧插值算法基于三元组(三个连续帧)训练，在一次前向计算中，只输出一个中间帧。考虑两个输入帧之间的连续区间，可以对多个连续中间帧统一建模，从而加强时域一致性，提高精度。另外，引入相位特征也可以处理较大亮度变化的场景。

发明内容

本发明提供了一种基于卷积神经网络的多重帧插值方法，可以同时输出多个连续的中间帧，而且引入相位特征，可以处理光照变化较大的场景。

本发明的技术方案为：

一种基于卷积神经网络的多重帧插值方法，包括以下步骤：

(1)收集连续的视频帧，截取连续n帧为一个训练样本组成训练集，其中，训练样本中的首帧和尾帧作为输入，剩下中间帧作为起监督作用的输出，n为大于等于5的自然数；

(2)对训练样本进行水平垂直翻转、旋转、随机截取方形区域、时域重采样以及图像全局亮度线性调整处理，以实现对训练集的数据增强；