[发明专利]一种基于神经网络的对齐外插帧方法

说明书

本发明公开了一种基于神经网络的对齐外插帧方法，包括：将目标帧分成指定大小的M个块，选择距离目标帧最近且连续的N个过去帧，对于目标帧中的每个块，均分别从每一过去帧中找到最相似的块进行对齐，获得N个对齐块；其中，N为设定的自然数；将N个对齐块输入至多尺度及残差的网络中，学习目标帧与各个过去帧之间的差异，并预测得到1个外插块；将所有外差块拼接得到对齐外插帧。该方法使用对齐操作处理过去帧，降低了外插网络输入的多样性，通过学习目标帧与过去帧之间的差异可显著降低外插难度；此外，可以将外插帧应用于视频编码中，提升编码效率。

技术领域

本发明涉及数字图像处理技术和视频编码技术领域，尤其涉及一种基于神经网络的对齐外插帧方法。

背景技术

众所周知，数字视频是由一系列数字图像(帧)按照时间的顺序组成的。在视频中，从过去的帧预测未来的帧，称为外插帧，即是要从过去帧的内容和运动趋势预测出未来帧的内容。随着卷积神经网络(Convolutional Neural Network,CNN)的发展，基于神经网络的外插帧方法取得了显著进展。外插帧的一个常用的场景是在视频编码中，因为外插帧可以从过去帧(参考帧)中得到对未来帧更准确的预测，在对未来帧进行编码时，精准的预测可以减少帧间冗余，提高视频编码效率。

下面是一些研究在帧外插、帧间预测和视频编码里面使用帧外插技术的工作：

深度多尺度视频预测超出均方误差(M.Mathieu,C.Couprie,and Y.LeCun,“Deepmulti-scale video prediction beyond mean square error,”arXiv preprint arXiv:1511.05440,2015.)

基于生成对抗网络的帧外插应用于视频编码(J.Lin,D.Liu,H.Li,and F.Wu,“Generative adversarial network-basedframe extrapolation for video coding,”inVCIP.IEEE,2018.)

以上方法的缺点：

1、由于自然视频中运动模式的复杂性和多样性，不对过去帧进行处理，直接从过去帧中推断出高质量的未来帧仍然是困难的。

2、由于直接从过去帧中推断出的帧质量不够高，而且直接外插很难处理好视频中的复杂运动，将直接外插方法应用到视频编码中编码效率提升有限。

发明内容

本发明的目的是提供一种基于神经网络的对齐外插帧方法，通过过去帧对齐来提高外插帧的质量。

本发明的目的是通过以下技术方案实现的：

一种基于神经网络的对齐外插帧方法，包括：

将目标帧分成指定大小的M个块，选择距离目标帧最近且连续的N个过去帧，对于目标帧中的每个块，均分别从每一过去帧中找到最相似的块进行对齐，获得N个对齐块；其中，N与M均为设定的自然数；

对于目标帧中的每个块，将N个对齐块输入至多尺度及残差的网络中，学习目标帧与各个过去帧之间的差异，并预测得到1个外插块；

将所有外插块按照对应的位置关系拼接得到对齐外插帧。

由上述本发明提供的技术方案可以看出，使用对齐操作处理过去帧，降低了外插网络输入的多样性，通过学习目标帧与过去帧之间的差异可显著降低外插难度；此外，可以将外插帧应用于视频编码中，提升编码效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。