[发明专利]用于视频帧内插的基于CNN的系统和方法

说明书

一种根据输入帧对合成中间非现有帧的卷积神经网络(CNN)的系统，包括：接收在连续时间点获取的一对图像的粗糙CNN、配准模块、细化CNN、加法器以及运动‑补偿帧内插(MC‑FI)模块。粗糙CNN根据一对图像输出前一特征图、下一特征图、粗糙内插运动矢量场(IMVF)和遮挡图，配准模块使用粗糙IMVF将前一特征图和下一特征图扭曲为与粗糙IMVF的像素位置对准，并且输出配准的前一特征图和下一特征图，细化CNN使用配准的前一特征图和下一特征图来校正粗糙IMVF，并且加法器将粗糙IMVF与校正相加并输出最终IMVF。

技术领域

本公开的实施例涉及用于视频处理的系统和方法，并且更具体地涉及用于视频帧内插的基于CNN的系统和方法。

背景技术

在视频帧内插(VFI)中，中间非现有(non-existing)帧是根据原始输入帧合成的。要求VFI的经典应用是帧率上转换，其用于处理LED/LC显示器中的如显示运动模糊和抖动之类的问题。其他应用包括视频编码和流传输中的帧恢复、慢动作效果和新颖的视图合成。

包括精心手工设计的模块的VFI常规方法通常包括以下步骤：双向运动估计、运动内插和遮挡推理以及运动-补偿帧内插(MC-FI)。由于上述任何组成部分的质量不足，因此这样的方法易于出现各种伪像，比如光晕、重影和破裂。

在过去的几年中，深度学习(特别是卷积神经网络(CNN))已成为用于许多图像处理和计算机视觉任务的领先方法。VFI处理可以得益于这些尖端技术的使用，比如用一个或多个预训练的CNN替代VFI算法流程中的一些步骤。

发明内容

本公开的示例性实施例涉及用于根据给定视频中的输入帧对合成中间非现有帧的系统和方法。与用于VFI的常规方法相反，本公开的实施例集中于设计基于CNN的框架，该基于CNN的框架保留了简单的手工制作的模块，并且通过已对大量示例进行了预训练的CNN替代更复杂的组成部分。根据本公开的实施例的方法可以减少光晕、重影和破裂伪像的等级，光晕、重影和破裂伪像是常规解决方案的典型特征。此外，通过选择常规的组成部分和基于CNN的组成部分的良好平衡的混合，可以在从GPU至神经处理器到专用硬件的各种平台上有效地实施根据本公开的实施例的方法。

根据本公开的实施例，提供了一种使用卷积神经网络(CNN)根据给定视频中的输入帧对合成中间非现有帧的系统，所述系统包括：粗糙卷积神经网络(CNN)，接收在连续时间点获取的一对图像，其中该对图像包括前一图像和下一图像；配准模块，连接到粗糙CNN；细化CNN，连接到配准模块和粗糙CNN；加法器，连接到细化CNN和粗糙CNN；以及运动-补偿帧内插(MC-FI)模块，连接到加法器和粗糙CNN。粗糙CNN根据前一图像和下一图像输出前一特征图和下一特征图，根据一对图像输出粗糙内插运动矢量场(IMVF)和遮挡图，配准模块使用粗糙IMVF将前一特征图和下一特征图扭曲为与粗糙IMVF的像素位置对准，并且输出配准的前一特征图和配准的下一特征图，细化CNN使用配准的前一特征图和配准的下一特征图来校正所述粗糙IMVF，并且加法器将粗糙IMVF与对所述粗糙IMVF的校正相加并输出最终IMVF。

根据本公开的又一实施例，运动-补偿帧内插(MC-FI)模块通过使用最终IMVF扭曲前一图像和下一图像并使用来自遮挡图的遮挡权重对扭曲的前一图像和扭曲的下一图像进行加权混合，来生成与前一图像和下一图像的时间点之间的时间相对应的内插帧。

根据本公开的又一实施例，粗糙CNN以多个分辨率等级接收该对图像。粗糙CNN包括：特征提取子网络，在每个分辨率等级下生成与一对图像相对应的一对特征图；编码器-解码器子网络，将每个分辨率等级下的一对特征图级联成单个特征图，并对单个特征图进行处理以产生具有减少的空间分辨率的新的单个特征图；融合子网络，通过对每个分辨率等级的新的单个特征图执行加权平均将每个分辨率等级下的新的单个特征图合并为单个合并的特征图，其中用于所述加权平均的权重是在训练阶段中学习的且针对每个像素而不同；以及估计子网络，输出粗糙IMVF的水平分量和垂直分量以及遮挡图。特征提取子网络包括连体层。