[发明专利]量化实现方法及相关产品

权利要求书

1.一种量化实现方法，其特征在于，所述方法包括：

根据目标数据集，确定待量化目标网络层输入数据中的元素值的最大绝对值，所述目标数据集为图片集且为预设网络下的数据集，该预设网络为分类网络或者检测网络；

根据所述最大绝对值确定M个间隔，将所述目标网络层的绝对值化后的输入数据的元素值放入所述M个间隔中；

根据所述M个间隔内的元素值生成Q个量化分布，Q为大于1的整数；

获取所述目标网络层的输入数据对应的原始量化分布；

依据所述Q个量化分布、所述原始量化分布确定所述目标网络层的量化参数，所述量化参数为神经网络芯片的参数，通过该量化参数以提升网络模型的图像分类精度或者目标检测精度。

2.根据权利要求1所述的方法，其特征在于，所述根据所述M个间隔内的元素值生成Q个量化分布，包括：

获取P个截断阈值，所述截断阈值为所述M个间隔中任一间隔的端点值或者间隔的端点值的均值，P为正整数；

基于所述P个截断阈值将所述目标网络层划分为Q个区间，每一区间包括至少一个间隔；

基于所述Q个区间中每一区间中的元素值生成Q个量化分布，每一区间对应一个量化分布。

3.根据权利要求1或2所述的方法，其特征在于，所述依据所述Q个量化分布、所述原始量化分布确定所述目标网络层的量化参数，包括：

确定所述Q个量化分布中每一量化分布与所述原始量化分布之间的相似度值，得到Q个相似度值；

从所述Q个相似度值中选取最大相似度值，并根据所述最大相似度值确定目标截断值；

根据所述目标截断值确定所述目标网络层的量化参数。

4.根据权利要求3所述的方法，其特征在于，所述量化参数包括定点型数据的小数点位置和缩放因子，所述根据所述目标截断值确定所述目标网络层的量化参数，包括：

根据所述目标截断值确定所述小数点位置；

根据所述小数点位置、所述目标截断值确定所述缩放因子。

5.根据权利要求3所述的方法，其特征在于，所述确定所述Q个量化分布与所述原始量化分布之间的相似度值，包括：

采用欧氏距离或者相对熵确定所述Q个量化分布中每一量化分布与所述原始量化分布之间的相似度值。

6.根据权利要求1或2所述的方法，其特征在于，所述目标网络层包括以下网络层中的至少一种：卷积层、全连接层、反卷积层、归一化层。

7.根据权利要求1或2所述的方法，其特征在于，所述间隔的间隔大小为128的整数倍。

8.根据权利要求1或2所述的方法，其特征在于，所述根据目标数据集，确定待量化目标网络层输入数据中的最大绝对值，包括：

将所述目标数据集输入到预设浮点型神经网络模型进行正向运算，对所述目标网络层中的输入数据的元素值进行绝对值化处理，并选取元素值的最大值作为最大绝对值。

9.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：

根据所述量化参数将所述目标网络层的输入数据中全部或者部分执行浮点型数据转化为定点型数据，得到全部定点数据或者混合数据，该混合数据包括：部分定点数据以及部分浮点数据。

10.根据权利要求9所述的方法，其特征在于，所述浮点型数据为以下一种：32位浮点型数据、64位浮点型数据。

11.根据权利要求9所述的方法，其特征在于，所述定点型数据为以下一种：8位定点型数据、16位定点型数据。