[发明专利]用于神经网络模型的数据量化方法、可读介质和电子设备

说明书

本申请涉及一种用于神经网络模型的数据量化方法、可读介质和电子设备。神经网络模型包括多个数据处理节点和拼接节点，多个数据处理节点分布于拼接节点的多个输入分支上。该方法包括：判断拼接节点的各输入分支是否存在满足预设条件的数据处理节点；在确定出拼接节点的各输入分支均存在满足预设条件的数据处理节点的情况下，汇总各输入分支中向拼接节点输出数据阵列的数据处理节点所输出的多个数据阵列，并基于汇总的多个数据阵列确定各输入分支进行数据量化所采用的公共量化系数。采用本申请的技术方案可以神经网络模型的数据量化的速度，降低计算量。

技术领域

本申请涉及机器学习领域，特别涉及一种用于神经网络模型的数据量化方法、可读介质和电子设备。

背景技术

随着人工智能(Artificial Intelligence，AI)技术的快速发展，神经网络(例如，深度神经网络)近年来在计算机视觉、语音、自然语言、强化学习等领域中取得了非常好的效果。随着神经网络算法的发展，算法的复杂度越来越高，为了提高识别度，模型的规模在逐渐增大，相应地，部署有神经网络模型的设备的功耗和运算资源的消耗也越来大。尤其对于一些运算资源有限的边缘设备，提高神经网络模型的运算速度，节约运算时间，降低功耗尤为重要。

发明内容

本申请实施例提供了一种用于神经网络模型的数据量化方法、可读介质和电子设备。本申请的技术方案只需要计算出神经网络模型的拼接节点的其中一个输入分支的输出张量的量化系数，然后将该量化系数作为其他所有输入分支的输出张量的量化系数；或者只需要计算出部分输入分支的输出张量的量化系数，然后基于部分输入分支的输出张量的量化系数确定出所有输入分支的输出张量的公共量化系数；又或者，只需要一次计算出各输入分支的输出张量公共的量化系数，即不再计算拼接节点的其中一个分支或多个分支各自单独的量化系数，以该公共的量化系数作为拼接节点的所有输入分支的输出张量的量化系数。即只需要执行很少的运算指令，就可以快速对拼接节点的各个量化系数进行统一设定。本申请的技术方案可以提高计算速度，降低计算量。

第一方面，本申请实施例提供了一种用于神经网络模型的数据量化方法，神经网络模型包括多个数据处理节点和拼接节点，多个数据处理节点分布于拼接节点的多个输入分支上；并且该方法包括：

判断拼接节点的各输入分支是否存在满足预设条件的数据处理节点；

在确定出拼接节点的各输入分支均存在满足预设条件的数据处理节点的情况下，汇总各输入分支中向拼接节点输出数据阵列的数据处理节点所输出的多个数据阵列，并基于汇总的多个数据阵列确定各输入分支进行数据量化所采用的公共量化系数。

其中，多个数据处理节点包括神经网络模型中的各个网络层，例如卷积层、池化层；拼接节点是指神经网模型中执行拼接运算的节点。

在上述第一方面的一种可能的实现中，上述方法还包括：满足预设条件的数据处理节点为输入数据阵列的量化系数与输出数据阵列的量化系数不同的数据处理节点。

例如，卷积层的输入数据阵列的量化系数与输出数据阵列的量化系数不同，则卷积层为满足预设条件的数据处理节点；而池化层的输入数据阵列的量化系数与输出数据阵列的量化系数相同，则池化层为不满足预设条件的数据处理节点。

在上述第一方面的一种可能的实现中，上述基于汇总的多个数据阵列确定各输入分支进行数据量化所采用的公共量化系数，包括：

确定出汇总的多个数据阵列的最大值、最小值、平均值以及方差中的至少一个；并且，

基于确定出的最大值、最小值、平均值以及方差中的至少一个，确定出各输入分支进行数据量化所采用的公共量化系数。

在上述第一方面的一种可能的实现中，上述基于汇总的多个数据阵列确定各输入分支进行数据量化所采用的公共量化系数，包括：

确定出汇总的多个数据阵列的统计直方图；