[发明专利]用于视频帧内插的基于CNN的系统和方法

权利要求书

1.一种使用卷积神经网络CNN根据给定视频中的输入帧对来合成中间非现有帧的系统，包括：

粗糙卷积神经网络CNN，接收在连续时间点获取的一对图像，其中所述一对图像包括前一图像和下一图像；

配准模块，连接到所述粗糙CNN；

细化CNN，连接到所述配准模块和所述粗糙CNN；

加法器，连接到所述细化CNN和所述粗糙CNN；以及

运动-补偿帧内插MC-FI模块，连接到所述加法器和所述粗糙CNN，

其中，所述粗糙CNN根据所述前一图像和所述下一图像输出前一特征图和下一特征图，根据所述一对图像输出粗糙内插运动矢量场IMVF和遮挡图，所述配准模块使用所述粗糙IMVF将所述前一特征图和所述下一特征图扭曲为与所述粗糙IMVF的像素位置对准，并且输出配准的前一特征图和配准的下一特征图，所述细化CNN使用所述配准的前一特征图和所述配准的下一特征图来校正所述粗糙IMVF，并且所述加法器将所述粗糙IMVF与对所述粗糙IMVF的校正相加并输出最终IMVF。

2.根据权利要求1所述的系统，其中，所述运动-补偿帧内插MC-FI模块通过使用所述最终IMVF扭曲所述前一图像和所述下一图像并使用来自所述遮挡图的遮挡权重对扭曲的前一图像和扭曲的下一图像进行加权混合，来生成与所述前一图像和所述下一图像的时间点之间的时间相对应的内插帧。

3.根据权利要求1所述的系统，其中，所述粗糙CNN以多个分辨率等级接收所述一对图像，其中所述粗糙CNN包括：

特征提取子网络，在每个分辨率等级下生成与所述一对图像相对应的一对特征图；

编码器-解码器子网络，将每个分辨率等级下的所述一对特征图级联成单个特征图，并对所述单个特征图进行处理以产生具有减少的空间分辨率的新的单个特征图；

融合子网络，通过对每个分辨率等级的所述新的单个特征图执行加权平均来将每个分辨率等级下的所述新的单个特征图合并为单个合并的特征图，其中用于所述加权平均的权重是在训练阶段中学习的且针对每个像素而不同；以及

估计子网络，输出所述粗糙IMVF的水平分量和垂直分量以及遮挡图；并且

其中，所述特征提取子网络包括连体层。

4.根据权利要求3所述的系统，其中，所述估计子网络包括水平子模块、垂直子模块和遮挡图子模块，其中每个子模块接收从所述融合子网络输出的所述单个合并的特征图，

其中，所述水平子模块和所述垂直子模块分别输出水平概率图和垂直概率图，其中每个概率图中每个像素有S个概率值，其中每个概率值表示运动矢量是针对该像素的S个位移值中的一个位移值的概率，

其中，所述水平子模块和所述垂直子模块分别计算针对每个像素的所述概率值的一阶矩，以确定针对每个像素的期望的水平分量和垂直分量，其中由针对每个像素的期望的水平分量和垂直分量构成的对包括对所述粗糙IMVF的所述校正。

5.根据权利要求4所述的系统，其中，所述遮挡图子模块输出所述遮挡图，所述遮挡图包括用于在所述前一图像与所述下一图像之间执行加权平均的每像素权重。

6.根据权利要求3所述的系统，其中，所述细化CNN包括：

编码器-解码器子网络，将所述配准的前一特征图与所述配准的下一特征图级联，并且输出新的特征图集合，所述新的特征图集合具有相对于所述前一图像和所述下一图像的全分辨率被大小调整的空间分辨率；以及

估计子网络，针对所述配准的下一特征图和所述配准的前一特征图中的每个块估计对所述粗糙IMVF的所述水平分量和所述垂直分量的校正以输出校正的IMVF。