[发明专利]神经网络自适应量化方法、装置、设备、介质和产品

说明书

本发明提供一种神经网络自适应量化方法、装置、设备、介质和产品，其中，该方法包括：基于神经网络的权重值对神经网络输出结果的贡献度调整权重值；基于神经网络的激活函数输出值对神经网络输出结果的贡献度调整激活函数输出值；基于调整后的神经网络中权重值的最大值所在的通道，对调整后的神经网络进行等效变换，使权重值各通道的分布接近；基于调整后的神经网络中激活函数输出值的最大值所在的通道，对调整后的神经网络进行等效变换，使激活函数输出值各通道的分布接近；对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。本发明可以在不增加成本的基础上降低量化引起的精度损失。

技术领域

本发明涉及计算机技术领域，尤其涉及一种神经网络自适应量化方法、神经网络自适应量化装置、电子设备、非暂态计算机可读存储介质和计算机程序产品。

背景技术

随着人工智能的发展，人工神经网络(Artificial Neural Network，简称ANN)，以下简称为神经网络，在图像分类、目标检测、自然语言处理等方面都取得了很好的效果。然而，随着神经网络预测准确度的提升，也带来了神经网络规模的增大，神经网络规模增大会占用较多的存储、计算和带宽等资源，从而降低神经网络的处理速度，影响神经网络在移动终端的部署。

对神经网络进行量化是目前比较常用的减小神经网络规模的方法。对神经网络进行量化，就是将神经网络中用32bit或者64bit表达的浮点数转换为主要用8bit的定点数表达，也支持更低bit的定点数表达。

现有的神经网络量化方法，是在神经网络训练后进行量化，虽然操作比较简单，但是通常会产生较大的精度损失。感知量化的方法虽然可以在一定程度上解决精度损失的问题，但是需要额外的训练过程，会造成成本的增加。

发明内容

本发明提供一种神经网络自适应量化方法、装置、设备、介质和产品，用以解决现有技术的神经网络量化方法精度损失较大，成本增加的缺陷，可以在不增加成本的基础上降低量化引起的精度损失。

第一方面，本发明提供一种神经网络自适应量化方法，包括：

基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度调整所述激活函数输出值；

基于调整后的神经网络中权重值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述权重值各通道的分布接近；基于所述调整后的神经网络中激活函数输出值的最大值所在的通道，对所述调整后的神经网络进行等效变换，使所述激活函数输出值各通道的分布接近；

对等效变换后的神经网络中的权重值和激活函数输出值进行量化处理，得到目标神经网络。

根据本发明提供的一种神经网络自适应量化方法，所述基于神经网络的权重值对所述神经网络输出结果的贡献度调整所述权重值；基于所述神经网络的激活函数输出值对所述神经网络输出结果的贡献度，调整所述激活函数输出值，包括：

对所述神经网络每一层的权重值和激活函数输出值分别确定贡献度评判值；

基于所确定的贡献度评判值进行贡献度分析，分别确定所述权重值和所述激活函数输出值的量化因子；

基于所确定的量化因子分别调整对应的权重值和对应的激活函数输出值。

根据本发明提供的一种神经网络自适应量化方法，所述对所述神经网络中每一层的权重值和激活函数输出值分别确定贡献度评判值，包括：

确定所述神经网络每一层中各采样单元的权重值的第一均值，作为所述权重值的贡献度评判值；确定所述神经网络每一层中各通道的激活函数输出值的第二均值，作为所述激活函数输出值的贡献度评判值；和/或，

所述基于所确定的贡献度评判值进行贡献度分析，分别确定所述权重值和所述激活函数输出值的量化因子，包括：