[发明专利]机器学习视频处理系统和方法

权利要求书

1.一种视频编码流水线，所述视频编码流水线包括：

在电子设备中实现的主编码流水线，其中所述主编码流水线被配置为通过至少部分地基于编码参数来处理源图像数据，从而压缩对应于图像帧的至少一部分的所述源图像数据以生成经编码图像数据；以及

机器学习块，所述机器学习块通信地耦接到所述主编码流水线，其中：

所述机器学习块被配置为通过至少部分地基于当所述机器学习块被所述编码参数启用时在所述机器学习块中实现的机器学习参数来处理所述源图像数据，从而分析所述图像帧的内容；以及

所述视频编码流水线被配置为至少部分地基于期望存在于所述图像帧中的所述内容来自适应地调节所述编码参数，以便于提高编码效率。

2.根据权利要求1所述的视频编码流水线，其中：

所述机器学习块包括卷积神经网络，所述卷积神经网络被配置为确定指示期望存在于所述图像帧中的所述内容的特性的特征度量；以及

所述机器学习参数指示将在所述卷积神经网络中实现的卷积层的数量、将在所述卷积层中的每个卷积层中实现的卷积权重、所述卷积神经网络的层之间的互连的配置、或它们的任何组合。

3.根据权利要求1所述的视频编码流水线，其中：

所述机器学习块包括：

第一卷积层，所述第一卷积层被配置为通过至少部分地基于在所述第一卷积层中实现的第一卷积权重来处理所述源图像数据，从而确定指示期望存在于所述图像帧中的所述内容的第一特性的第一特征度量；以及

第二卷积层，所述第二卷积层连接在所述第一卷积层的下游，其中所述第二卷积层被配置为至少部分地基于所述第一特征和在所述第二卷积层中实现的第二卷积权重来确定指示期望存在于所述图像帧中的所述内容的第二特性的第二特征度量；并且

所述视频编码流水线被配置为至少部分地基于所述第一特征度量、所述第二特征度量或两者来自适应地调节所述编码参数。

4.根据权利要求1所述的视频编码流水线，其中，当所述机器学习块被启用时：

所述视频编码流水线被配置为确定所述编码参数以指示至少目标采样比、目标采样模式或两者；以及

所述主编码流水线被配置为：

通过至少部分地基于所述编码参数来对所述源图像数据进行降采样、应用正变换、应用正量化、应用反量化以及上采样来确定指示对所述源图像数据的预测的预测样本；

至少部分地基于所述预测样本与所述源图像数据之间的差值来确定预测残差；并且

生成所述经编码图像数据以指示至少所述编码参数和所述预测残差。

5.根据权利要求4所述的视频编码流水线，其中，当所述机器学习块未被启用时，所述主编码流水线被配置为：

当所述编码参数指示将使用帧内预测技术对所述源图像数据进行编码时，至少部分地基于对应于所述图像帧的不同部分的第一经重构图像数据来确定所述预测样本；

当所述编码参数指示将使用帧间预测技术对所述源图像数据进行编码时，至少部分地基于对应于不同图像帧的第二经重构图像数据来确定所述预测样本；

至少部分地基于所述预测样本与所述源图像数据之间的差值来确定所述预测残差；以及

生成所述经编码图像数据以至少指示所述编码参数和所述预测残差。

6.根据权利要求1所述的视频编码流水线，其中：

所述主编码流水线包括滤波块，所述滤波块被配置为至少部分地基于当所述机器学习块被启用时期望存在于所述图像帧中的所述内容来确定当应用于与所述经编码图像数据对应的经解码图像数据时期望降低产生可感知视觉伪影的可能性的滤波器参数，以便于改善所述经解码图像数据的视频质量；以及

所述视频编码流水线被配置为指示所述滤波器参数以及所述经编码图像数据。