[发明专利]量化处理方法和装置、量化处理芯片

说明书

本公开实施例提供一种量化处理方法和装置、量化处理芯片，先基于各个通道的网络参数的分布特征分别确定各通道的初始量化参数，一个通道的初始量化参数是理论上符合该通道网络参数的分布特征的最优的量化参数，但该初始量化参数可能不满足层量化硬件部署条件；因此，再从基于初始量化参数确定的搜索空间内搜索各通道对应的优化量化参数，搜索到的优化量化参数的量化性能与初始量化参数接近，且能够满足层量化硬件部署条件，从而能够应用于通用量化处理芯片，并使通用量化处理芯片达到与通道量化方式接近的量化性能。

技术领域

本公开涉及量化处理技术领域，尤其涉及量化处理方法和装置、量化处理芯片。

背景技术

量化处理对于神经网络的加速部署具有重要作用。相关技术中，存在层量化和通道量化两种量化处理方式，在层量化方式中，同一网络层的各通道的网络参数采用相同的量化参数进行量化处理；在通道量化方式中，同一网络层的各通道的网络参数采用不同的量化参数进行量化处理。通道量化方式能够提高量化精度，但是，需要采用专用的通道量化处理芯片进行处理，从而导致了量化处理的成本提高。

发明内容

本公开提供一种量化处理方法和装置、量化处理芯片，以实现在通用量化处理芯片上实现通道量化。

根据本公开实施例的第一方面，提供一种量化处理方法，所述方法包括：基于神经网络的网络层各通道的网络参数的分布特征，确定用于对所述各通道的网络参数进行量化处理的初始量化参数；基于预先建立的层量化硬件部署条件，从各通道对应的搜索空间内，搜索各通道对应的优化量化参数，所述通道对应的搜索空间基于所述通道的初始量化参数确定；将各通道的优化量化参数以及所述网络层各通道的网络参数发送至量化处理芯片，以使所述量化处理芯片基于各通道的优化量化参数对各通道的网络参数进行量化处理，得到各通道的量化网络参数。

本公开实施例先基于各个通道的网络参数的分布特征分别确定各通道的初始量化参数，一个通道的初始量化参数是理论上符合该通道网络参数的分布特征的最优的量化参数，但该初始量化参数可能不满足层量化硬件部署条件；因此，再从基于初始量化参数确定的搜索空间内搜索各通道对应的优化量化参数，搜索到的优化量化参数的量化性能与初始量化参数接近，且能够满足层量化硬件部署条件，从而能够应用于通用量化处理芯片，并使通用量化处理芯片达到与通道量化方式接近的量化性能。

在一些实施例中，所述方法还包括：从所述神经网络中的BatchNorm层获取所述神经网络的网络层各通道的分布特征。由于通道的分布特征需要基于较大的数据量分析得到，缺少分布数据集的情况下，无法确定不同通道的分布特征。通过BatchNorm层可以获取卷积层的每个通道的输出参数的均值和方差，从而降低了获取网络层各通道的分布特征的复杂度。

在一些实施例中，所述分布特征包括所述网络层每个通道的网络参数的方差，一个通道的初始量化参数等于该通道的网络参数的方差与预设常数的乘积。本公开实施例直接基于网络参数的方差与预设常数的乘积确定初始量化参数，复杂度较低。

在一些实施例中，所述预设常数与所述网络参数的量化位深以及所述网络参数的分布特征相关。基于网络参数的量化位深以及网络参数的分布特征共同来确定用于计算初始量化参数的预设常数，从而使得到的初始量化参数与网络参数的量化位深和网络参数的分布特征相适应，提高了初始量化参数的准确性，进而提高了量化精度。