[发明专利]神经网络推理量化的方法、装置、电子设备及存储介质

说明书

本公开提供了一种神经网络推理量化的方法、装置、电子设备及存储介质，该方法包括：获取训练后的目标神经网络；将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组；针对每个所述通道组，基于所述通道组内包含的每个通道对应的特征极值，确定所述通道组对应的目标最大值和目标最小值；基于各个所述通道组内分别对应的所述目标最大值和所述目标最小值，对所述目标神经网络的推理过程进行量化处理。

技术领域

本公开涉及深度学习技术领域，具体而言，涉及一种神经网络推理量化的方法、装置、电子设备及存储介质。

背景技术

随着神经网络的发展，神经网络推理被广泛应用在图像分类、物体检测分割等机器视觉任务中，并取得了较大成功。然而，由于端侧设备受到计算资源、存储空间、和功耗的限制等，使得端侧设备上的神经网络的发展存在一定的难度。因此，提出一种可以压缩神经网络、提高神经网络的推理速度、或者降低神经网络功耗的方法尤为重要。

发明内容

有鉴于此，本公开至少提供一种神经网络推理量化的方法、装置、电子设备及存储介质。

第一方面，本公开提供了一种神经网络推理量化的方法，包括：

获取训练后的目标神经网络；

将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组；

针对每个所述通道组，基于所述通道组内包含的每个通道对应的特征极值，确定所述通道组对应的目标最大值和目标最小值；

基于各个所述通道组内分别对应的所述目标最大值和所述目标最小值，对所述目标神经网络的推理过程进行量化处理。

上述方法中，通过将目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组，并针对每个通道组，基于通道组内包含的每个通道对应的特征极值，确定通道组对应的目标最大值和目标最小值，即通道组内的每个通道共享目标最大值和目标最小值，与特征张量中的每个通道对应一个目标最大值和目标最小值的情况相比，无需确定特征张量中每个通道对应的目标最大值和目标最小值，减少了确定目标最大值和目标最小值的运算量，提高了运算效率。

同时，与特征张量中的所有通道对应一个目标最大值和目标最小值的情况相比，将多个通道划分为多个通道组，确定每个通道组对应的目标最大值和目标最小值，不同的通道组对应不同的目标最大值和目标最小值，可以使得通道组内的各个通道与该通道组对应的目标最大值和目标最小值之间较为匹配，提升了通道组对应的目标最大值和目标最小值的准确度，以便基于各个通道组内分别对应的目标最大值和目标最小值，能够对目标神经网里的推理过程进行较为准确的量化处理。

一种可能的实施方式中，将所述目标神经网络中至少一个网络处理层分别对应的特征张量的各个通道划分为多个通道组，包括：

针对每个特征张量，确定所述特征张量的每个通道上的最大特征值；

按照各个通道对应的所述最大特征值从大到小的顺序，将所述特征张量包括的通道划分为多个通道组。

本实施方式中，可以将特征张量中的各个通道，按照最大特征值从大到小的顺序进行划分，使得划分后的通道组中的各个通道分别对应的目标最大值之间的偏差较小，以便提升通道组对应的目标最大值和目标最小值的准确度。

一种可能的实施方式中，所述方法还包括：

获取所述目标神经网络对应的校准数据集，其中，所述校准数据集中包括多个校准图像；

将所述校准数据集输入至所述目标神经网络中，得到每个所述校准图像在所述至少一个网络处理层下对应的输出特征数据；其中，所述输出特征数据的通道数与所述特征张量中的输出特征张量的通道数一致；