[发明专利]在视频超分辨率中使用解码器信息的系统和方法

权利要求书

1.一种用于视频超分辨率处理的系统，所述系统包括：

解码器模块，所述解码器模块用于将压缩视频流解码成未压缩流并从所述未压缩流中提取运动矢量信息；

视频缓冲模块，所述视频缓冲模块用于从所述解码器模块接收所述未压缩流；

第一重构模块，所述第一重构模块用于基于所述运动矢量信息执行基于运动矢量的视频重构；

第二重构模块，所述第二重构模块用于基于所述未压缩流中的帧执行基于帧的视频重构；和

视频超分辨率深度神经网络处理器模块，所述视频超分辨率深度神经网络处理器模块用于从所述第一重构模块和从所述第二重构模块接收重构帧并且处理所述未压缩流以产生视频超分辨率流。

2.根据权利要求1所述的系统，其中，使用硬件加速器来实现所述解码器模块、所述视频缓冲模块、所述基于运动矢量的重构模块和所述基于帧的重构模块。

3.根据权利要求1所述的系统，其中，所述视频超分辨率深度神经网络被训练以执行视频超分辨率处理。

4.根据权利要求1所述的系统，所述系统还包括输出缓冲模块，所述输出缓冲模块用于缓冲所述视频超分辨率流以供后续输出。

5.根据权利要求1所述的系统，其中，所述视频超分辨率深度神经网络在所述未压缩流的多个块中的每个块上实现基于运动矢量的重构。

6.根据权利要求1所述的系统，其中，所述视频超分辨率深度神经网络在所述未压缩流的多个块中的每个块上使用预测运动矢量来实现基于运动矢量的重构。

7.根据权利要求6所述的系统，其中，所述预测运动矢量包括基于机器学习的运动矢量。

8.一种用于在视频超分辨率处理中使用解码器信息的方法，所述方法包括：

将压缩视频流解码成未压缩流并从所述未压缩流中提取运动矢量信息；

当运动矢量信息不可用时使用视频缓冲模块来接收所述未压缩流；

使用基于运动矢量的重构模块来对所述未压缩流执行基于运动矢量的视频重构；

当运动矢量信息不可用时使用基于帧的重构模块来执行基于帧的视频重构；以及

使用视频超分辨率深度神经网络处理器模块来处理所述未压缩流以产生视频超分辨率流。

9.根据权利要求8所述的方法，其中，使用硬件加速器来实现所述视频缓冲模块、所述基于运动矢量的重构的模块和所述基于帧的重构模块。

10.根据权利要求8所述的方法，其中，所述视频超分辨率深度神经网络被训练以执行视频超分辨率处理。

11.根据权利要求8所述的方法，其中，所述基于帧的重构模块可操作用于缓冲所述未压缩流并将所述未压缩流提供给所述视频超分辨率深度神经网络以供在没有运动矢量信息的情况下进行处理。

12.根据权利要求8所述的方法，其中，所述视频超分辨率深度神经网络在所述未压缩流的多个块中的每个块上实现基于运动矢量的重构。

13.根据权利要求8所述的方法，其中，所述视频超分辨率深度神经网络在所述未压缩流的多个块中的每个块上使用预测运动矢量来实现基于运动矢量的重构。

14.根据权利要求13所述的方法，其中，所述预测运动矢量包括基于机器学习的运动矢量。