[发明专利]使用一个或更多个神经网络的视频上采样

权利要求书

1.一种处理器，包括：

一个或更多个算术逻辑单元(ALU)，被配置为使用一个或更多个神经网络，使用与较高分辨率视频的先前推理帧混合的较低分辨率视频的上采样帧来生成所述较高分辨率视频。

2.根据权利要求1所述的处理器，其中使用较低和较高分辨率视频帧的配对对所述一个或更多个神经网络进行训练。

3.根据权利要求1所述的处理器，其中使用包括至少风格损失项和时间损失项的复杂损失函数对所述一个或更多个神经网络进行训练。

4.根据权利要求1所述的处理器，其中所述一个或更多个神经网络被训练以确定混用于混合所述上采样帧和先前推理帧的像素值的混合因子和至少一个核心因子。

5.根据权利要求1所述的处理器，其中所述一个或更多个ALU被配置为在将所述上采样帧和所述先前推理帧作为输入提供给所述一个或更多个神经网络之前，将所述上采样帧和所述先前推理帧转换到目标颜色空间的单一通道，所述较高分辨率视频在全颜色空间中生成。

6.根据权利要求1所述的处理器，其中所述先前推理帧被双三次运动扭曲，并且其中所述一个或更多个ALU被配置为对被上采样的上采样的较低分辨率视频的帧进行时间抗混叠。

7.根据权利要求1所述的处理器，其中从游戏引擎接收所述较低分辨率视频，并且其中在所述游戏引擎上执行的游戏的游戏玩法期间将所述较高分辨率视频输出给播放器进行显示。

8.一种系统，包括：

一个或更多个处理器，被配置为使用一个或更多个神经网络，使用与较高分辨率视频的先前较高分辨率帧混合的较低分辨率视频的上采样帧来生成所述较高分辨率视频；以及

一个或更多个存储器，用于存储所述一个或更多个神经网络。

9.根据权利要求8所述的系统，其中使用较低和较高分辨率视频帧的配对对所述一个或更多个神经网络进行训练。

10.根据权利要求9所述的系统，其中使用包括至少风格损失项和时间损失项的复杂损失函数对所述一个或更多个神经网络进行训练。

11.根据权利要求9所述的系统，其中对所述一个或更多个神经网络被训练以确定用于混合所述上采样帧和先前推理帧的像素值的混合因子和至少一个核心因子。

12.根据权利要求9所述的系统，其中所述一个或更多个处理器被配置为在将所述上采样帧和所述先前推理帧作为输入提供给所述一个或更多个神经网络之前，将所述上采样帧和所述先前推理帧转换为目标颜色空间的单一通道，所述较高分辨率视频在全颜色空间中生成。

13.根据权利要求8所述的系统，其中从游戏引擎接收所述较低分辨率视频，并且其中在所述游戏引擎上执行的游戏的游戏玩法期间将所述较高分辨率视频输出给播放器进行显示。

14.一种机器可读介质，具有存储在其上的一组指令，如果所述指令由一个或更多个处理器执行，则使所述一个或更多个处理器至少：

使用一个或更多个神经网络，使用与较高分辨率视频的先前较高分辨率帧混合的较低分辨率视频的上采样帧来生成所述较高分辨率视频。

15.根据权利要求14所述的机器可读介质，其中使用较低和较高分辨率视频帧的配对对所述一个或更多个神经网络进行训练。

16.根据权利要求15所述的机器可读介质，其中使用包括至少风格损失项和时间损失项的复杂损失函数对所述一个或更多个神经网络进行训练。