[发明专利]使用机器学习的图像编码器及图像编码器的数据处理方法

权利要求书

1.一种用于通过编码输入图像来输出比特流的图像编码器，所述图像编码器包括：

预测器，其配置为使用先前输入块的数据来生成预测块；

基于机器学习的预测增强器，其配置为通过将机器学习技术应用于所述预测块来将所述预测块变换为增强的预测块，其中，所述基于机器学习的预测增强器：

响应于率失真优化值选择预测块和增强的预测块中的一个作为已选择的块，其中，响应于与增强的预测块对应的率失真优化值指示相对于与预测块对应的率失真优化值的性能增益，选择增强的预测块作为所述已选择的块，以及响应于与增强的预测块对应的率失真优化值指示没有相对于与预测块对应的率失真优化值的性能增益，选择预测块作为所述已选择的块；以及

减法器，其配置为通过从当前输入块的像素数据减去所述已选择的块的像素数据来生成剩余数据的剩余块。

2.根据权利要求1所述的图像编码器，其中所述基于机器学习的预测增强器配置为：

执行用于处理所述预测块的多个机器学习算法。

3.根据权利要求2所述的图像编码器，其中所述基于机器学习的预测增强器配置为：

参考所述输入图像的编码信息来选择多个机器学习算法中的至少一个作为已选择的机器学习算法；并且

使用所述已选择的机器学习算法来处理所述预测块。

4.根据权利要求3所述的图像编码器，其中所述编码信息包括与所述预测块对应的预测模式、运动矢量的幅度和方向、帧内方向、编码单元的大小、图像的分区形式和变换单元的大小中的至少一个。

5.根据权利要求2所述的图像编码器，其中所述多个机器学习算法包括决策树、神经网络、卷积神经网络、支持向量机、强化学习和K-最近邻算法中的至少一个。

6.根据权利要求1所述的图像编码器，其中所述基于机器学习的预测增强器被配置为选择多个机器学习算法中的一个作为已选择的机器学习算法；使用所述已选择的机器学习算法来处理所述预测块以获得已处理的结果；并且取决于所述已处理的结果来生成所述增强的预测块。

7.根据权利要求6所述的图像编码器，其中根据所述已选择的块，在比特流的视频流语法中写入指示是否应用所述机器学习技术的标志。

8.根据权利要求2所述的图像编码器，其中所述多个机器学习算法具有使用多个预定训练数据集所学习到的决策参数。

9.根据权利要求2所述的图像编码器，其中，如果提供了所述输入图像，则在训练间隔期间使用所述输入图像的帧来训练所述多个机器学习算法。

10.根据权利要求1所述的图像编码器，还包括：

变换器，其配置为将作为时域数据的所述剩余数据变换为频域数据；

量化器，其配置为通过量化所述频域数据来输出量化的系数；以及

熵编码装置，其配置为将所述量化的系数和编码信息变换为比特流。

11.根据权利要求1所述的图像编码器，其中所述基于机器学习的预测增强器配置为：

执行机器学习算法，该算法取决于编码信息选择多个参数集中的一个作为已选择的参数集，并且使用所述已选择的参数集处理所述预测块。

12.一种用于处理图像数据的方法，所述方法包括：

从先前输入块的时域数据生成预测块；

通过将多个机器学习技术中的至少一个应用于所述预测块，将所述预测块变换为增强的预测块；

响应于率失真优化值选择预测块和增强的预测块中的一个作为已选择的块，其中，响应于与增强的预测块对应的率失真优化值指示相对于与预测块对应的率失真优化值的性能增益，选择增强的预测块作为所述已选择的块，以及响应于与增强的预测块对应的率失真优化值指示没有相对于与预测块对应的率失真优化值的性能增益，选择预测块作为所述已选择的块；以及

通过从当前输入块中减去所述已选择的块来生成剩余块。