[发明专利]具有强化学习渲染感知比特率控制的视频编码方法和系统

权利要求书

1.一种计算机实现的视频编码的方法，包括：

获得待编码的视频帧的序列；

获得所述序列的至少一个帧的至少一个渲染表面，并基于渲染域数据提供像素信息；以及

确定用于对所述至少一个帧进行编码的编码器设置，所述确定包括使用所述至少一个渲染表面。

2.如权利要求1所述的方法，其中，所述渲染域数据至少包括至少一个帧的图元的顶点的颜色数据。

3.如权利要求1所述的方法，其中，所述渲染表面是多样本控制表面(MCS)，所述多样本控制表面至少部分地基于子像素样本形成所述至少一个帧的像素级渲染边缘地图。

4.如权利要求1所述的方法，其中，所述渲染表面被存储在图形处理单元的缓冲器处，以使所述渲染表面用于所述至少一个帧的渲染。

5.如权利要求1所述的方法，包括：使用所述渲染表面的一个版本的数据作为到一个或多个神经网络的输入，所述一个或多个神经网络输出用于设置所述编码器设置的值。

6.如权利要求1至5中任一项所述的方法，其中，所述确定包括生成用于对所述至少一个帧的至少一部分进行编码的至少一个比特率或者至少一个量化值。

7.如权利要求6中任一项所述的方法，其中，所述比特率是按每帧或者按每编码树单元(CTU)块的。

8.如权利要求1至5中任一项所述的方法，包括：使用所述渲染表面作为从强化学习算法的环境提供的状态的至少一部分，所述状态用于生成强化学习的动作，所述动作用于设置所述编码器设置。

9.一种计算机实现的系统，包括：

存储器，用于存储视频帧的至少一个序列的至少一部分的数据、以及所述帧中的至少一个帧的至少一个渲染表面的数据；以及

处理器电路，所述处理器电路形成与所述存储器通信耦合的至少一个处理器，并被布置为通过以下方式进行操作：

获得待编码的视频帧的序列；

获得所述序列的至少一个帧的至少一个渲染表面，并基于渲染域数据提供像素信息；以及

确定用于对所述序列的所述至少一个帧进行编码的编码器设置，所述确定包括使用所述至少一个渲染表面。

10.如权利要求9所述的系统，其中，所述渲染表面是多样本控制表面(MCS)，所述多样本控制表面至少部分地基于子像素样本形成所述至少一个帧的像素级渲染边缘地图。

11.如权利要求9或10所述的系统，其中，所述渲染表面的数据用于确定比特率，所述比特率用于执行量化，可选地所述比特率是按每帧或者按每编码块的。

12.如权利要求9或10所述的系统，其中，所述至少一个处理器被布置为通过以下方式进行操作：使用所述渲染表面的一个版本的数据作为到一个或多个神经网络的输入，所述一个或多个神经网络输出用于设置所述编码器设置的值。

13.至少一个具有至少一个机器可读介质的非暂态工件，所述至少一个机器可读介质包括多个指令，所述多个指令响应于在计算设备上被执行，使得所述计算设备通过以下方式进行操作：

获得待编码的视频帧的序列；

至少部分地基于与正在被编码的帧相关联的当前状态和表示对先前动作值的评估的反馈奖励，生成强化学习动作值；以及

设置编码器设置，包括使用所述动作值对所述帧的至少一部分进行编码。

14.如权利要求13所述的工件，其中，所述生成包括生成用于指示至少一个帧的内容的复杂性的当前状态。

15.如权利要求13或14所述的工件，其中，所述当前状态包括比特消耗状态数据。