[发明专利]面向神经网络编解码工具的并行推理方法及系统

说明书

本发明公开了一种面向神经网络编解码工具的并行推理方法，包括：对待处理的图像进行边界扩充，得到边界完整的图像；根据光栅扫描顺序将所述边界完整的图像划分成大小相同的图像块；将所述大小相同的图像块组织成若干个张量，并将所述若干个张量作为一组张量同时送入神经网络中进行前向传播处理，其中，根据神经网络编码工具以及硬件显存大小设置所述张量的批尺寸值。通过上述方法，可以有效减少神经网络推理时的显存，降低神经网络视频编码工具的编解码复杂度。

技术领域

本发明涉及数字信号处理技术领域，特别涉及一种面向神经网络编解码工具的并行推理方法及系统。

背景技术

深度学习在传统计算机视觉任务上不断取得突破，环路滤波作为底层的计算机视觉任务，十分适合用深度学习处理，神经网络具有强大的非线性拟合能力，对于视频编码后产生的块效应、振铃效应等有较好的抑制作用。

现有技术中，已有许多针对AVS3,VVC,HEVC等主流视频编码标准的神经网络环路滤波工作。但是一方面神经网络模型计算量通常较大，直接嵌入视频编解码器中导致复杂度成倍增长，另一方面对于大分辨率(4K)的视频序列，由于显存大小的限制，无法整帧进行网络推理。

发明内容

本公开实施例提供了一种面向神经网络编解码工具的并行推理方法及系统。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

在一些可选地实施例中，一种面向神经网络编解码工具的并行推理方法，包括：

对待处理的图像进行边界扩充，得到边界完整的图像；

根据光栅扫描顺序将边界完整的图像划分成大小相同的图像块；

将大小相同的图像块组织成若干个张量，并将若干个张量作为一组张量同时送入神经网络中进行前向传播处理，其中，根据神经网络编码工具以及硬件显存大小设置张量的批尺寸值。

进一步地，对待处理的图像进行边界扩充，包括：

使用边界像素对待处理的图像进行镜像扩充；

使用边界像素对待处理的图像进行反射扩充。

进一步地，根据光栅扫描顺序将边界完整的图像划分成大小相同的图像块，包括：

所述图像块的大小可以任意设定；

所述图像块的大小可以与深度学习编码工具中率失真优化决策的块大小一致。

进一步地，将大小相同的图像块组织成若干个张量，包括：

将所述大小相同的图像块放入张量中；

与率失真优化结合，解码端当该图像块的率失真决策结果为真时，将该图像块放入张量中。

进一步地，还包括：

当剩余图像块数量少于设置的张量的批尺寸值时，将剩余图像块组织成一组张量。

进一步地，对待处理的图像进行边界扩充之前，还包括：

获取待处理的图像。

在一些可选地实施例中，一种面向神经网络编解码工具的并行推理装置，包括：

扩充模块，用于对待处理的图像进行边界扩充，得到边界完整的图像；

划分模块，用于根据光栅扫描顺序将边界完整的图像划分成大小相同的图像块；