[发明专利]量化实现方法及相关产品

说明书

本申请公开了一种量化实现方法及相关产品，该量化实现方法应用于神经网络芯片，该神经网络芯片设置于板卡上，该板卡包括：存储器件，用于存储数据；接口装置，用于实现神经网络芯片与外部设备之间的数据传输；控制器件，用于对神经网络芯片的状态进行监控。采用本申请实施例能够提升网络量化精度。

技术领域

本申请涉及数据处理领域，尤其涉及一种量化实现方法及相关产品。

背景技术

随着信息技术的不断发展和人们日益增长的需求，人们对信息及时性的要求越来越高了。为了提升深度神经网络在MLU100上推理的运行效率，MLU100支持int8推理运算。现有的大部分深度神经网络采用浮点数(fp32)进行运算和存储，因此需要将现有的神经网络模型量化为MLU100支持的int8模型。现有的量化实现方法一般采取绝对值最大值不失真准则，即将绝对值最大值映射到int8的最大值上，这种量化实现方法与量化时网络的输入图片相关，量化出的网络精度具有一定随机性，导致量化精度较低，因此，如何提升网络量化精度的问题亟待解决。

发明内容

本申请实施例提供一种量化实现方法及相关产品，能够提升网络量化精度。

第一方面，本申请实施例提供一种量化实现方法，所述方法包括：

根据目标数据集，确定待量化目标网络层输入数据中的元素值的最大绝对值；

根据所述最大绝对值确定M个间隔，将所述目标网络层的绝对值化后的输入数据的元素值放入所述M个间隔中；

根据所述M个间隔内的元素值生成Q个量化分布，Q为大于1的整数；

获取所述目标网络层的输入数据对应的原始量化分布；

依据所述Q个量化分布、所述原始量化分布确定所述目标网络层的量化参数。

在一个可能的示例中，所述根据所述M个间隔内的元素值生成Q个量化分布，包括：

获取P个截断阈值，所述截断阈值为所述M个间隔中任一间隔的端点值或者间隔的端点值的均值，P为正整数；

基于所述P个截断阈值将所述目标网络层划分为Q个区间，每一区间包括至少一个间隔；

基于所述Q个区间中每一区间中的元素值生成Q个量化分布，每一区间对应一个量化分布。

在一个可能的示例中，所述依据所述Q个量化分布、所述原始量化分布确定所述目标网络层的量化参数，包括：

确定所述Q个量化分布中每一量化分布与所述原始量化分布之间的相似度值，得到Q个相似度值；

从所述Q个相似度值中选取最大相似度值，并根据所述最大相似度值确定目标截断值；

根据所述目标截断值确定所述目标网络层的量化参数。

在一个可能的示例中，所述量化参数包括定点型数据的小数点位置和缩放因子，所述根据所述目标截断值确定所述目标网络层的量化参数，包括：

根据所述目标截断值确定所述小数点位置；

根据所述小数点位置、所述目标截断值确定所述缩放因子。

在一个可能的示例中，所述确定所述Q个量化分布与所述原始量化分布之间的相似度值，包括：

采用欧氏距离或者相对熵确定所述Q个量化分布中每一量化分布与所述原始量化分布之间的相似度值。

在一个可能的示例中，所述目标网络层包括以下网络层中的至少一种：卷积层、全连接层、反卷积层、归一化层。

在一个可能的示例中，所述间隔的间隔大小为128的整数倍。