[发明专利]在视频超分辨率中使用解码器信息的系统和方法

说明书

一种用于在视频超分辨率处理中使用解码器信息的系统。压缩视频缓冲模块被用于接收压缩视频流，并且解码器模块被用于将所述压缩视频流解码成未压缩流并从所述未压缩流中提取运动矢量信息。视频超分辨率深度神经网络处理器模块被用于结合所述运动矢量信息处理所述未压缩流以产生视频超分辨率流。输出缓冲模块被用于缓冲所述视频超分辨率流以供后续输出。

技术领域

本发明的实施例通常涉及在包括视频解码器系统的计算机系统中使用的集成电路结构。

背景技术

视频超分辨率(VSR)是将视频从低分辨率上定标到高分辨率的任务。图像和视频超分辨率(SR)的目标是为了从其下采样的低分辨率(LR)版本重构高分辨率(HR)图像或视频。

超分辨率涉及将较低分辨率的图像(例如720)转换到较高分辨率(例如4K分辨率)。例如，将分辨率提高四倍涉及取一个像素并扩展到16个像素。视频通常被以压缩形式存储，该压缩形式需要被解码到空间域才能执行VSR。这通常使用后处理来完成。

对于视频超分辨率，当前技术水平要么处理多个低分辨率(LR)帧来以滑动窗口方式单独地产生每个输出高分辨率(HR)，要么循环地利用先前估计的HR帧来超级解析后面的帧。

提高图像大小的较简单方式之一是用输出帧中的最近像素替换每一像素的最近邻插值。对于上定标，这意味着将创建相同颜色的多个像素。这能够保存像素艺术中的清晰细节，但是也在先前平滑的图像中引入锯齿。

还能够使用双线性和双三次上采样算法。双线性插值通过对像素颜色值进行插值从而即使在原始材质具有离散过渡的情况下也将连续过渡引入到输出中而工作。尽管这是连续色调图像所希望的，但是这种算法以可能是线条艺术不希望的方式降低对比度(清晰边缘)。双三次插值产生基本上更好的结果，而计算复杂度仅提高一点点。

VSR的最近进步已受益于深度神经网络(DNN)的应用。他们利用连续LR帧序列来生成单个HR帧，从而集中于为每个单帧获得高质量重构结果。

如上所述，视频通常被以压缩形式存储，该压缩形式需要被解码到空间域才能执行VSR。这通常由解码器使用后处理来完成。然而问题是在上述VSR过程中忽略来自解码器的视频的许多信息。遗憾的是，这种信息可能有助于执行更高准确度的VSR。

发明内容

本发明的实施例通过有利地使用来自输入视频流的运动矢量信息来执行VSR。本发明的实施例有利地通过由解码器使用后处理来并入动矢量信息。

本发明的实施例实现一种用于在视频超分辨率处理中使用解码器信息的系统。压缩视频缓冲模块被用于接收压缩视频流，并且解码器模块被用于将所述压缩视频流解码成未压缩流并从所述未压缩流中提取运动矢量信息。视频超分辨率深度神经网络处理器模块被用于结合所述运动矢量信息处理所述未压缩流以产生视频超分辨率流。输出缓冲模块被用于缓冲所述视频超分辨率流以供后续输出。

在一个实施例中，硬件加速器用于实现所述压缩视频缓冲模块、所述解码器模块和所述输出缓冲器。在一个实施例中，所述视频超分辨率深度神经网络被专门地训练以执行视频超分辨率处理。

在一个实施例中，基于帧的重构模块被用于缓冲所述未压缩流并将所述未压缩流提供给所述视频超分辨率深度神经网络以供在没有所述运动矢量信息的情况下进行处理。在一个实施例中，所述视频超分辨率深度神经网络在所述未压缩流的多个块中的每个块上实现基于运动矢量的重构。

在一个实施例中，所述视频超分辨率深度神经网络在所述未压缩流的多个块中的每个块上使用预测运动矢量来实现基于运动矢量的重构。在一个实施例中，所述预测运动矢量包括基于机器学习的运动矢量。

上文是发明内容并且因此必然包含细节的简化、概括和省略；因此，本领域的技术人员将领会，该发明内容仅是说明性的，而不旨在以任何方式限制。如单独由权利要求所限定的本发明的其他方面、发明特征和优点在下面阐述的非限制性详细描述中将变得显而易见。