[发明专利]神经网络模型的权值量化方法及装置

说明书

技术领域

本公开涉及机器学习领域，尤其涉及一种神经网络模型的权值量化方法及装置。

背景技术

对神经网络模型的权值进行量化，是在保证神经网络模型针对目标任务的性能不发生显著降低的前提下，将神经网络模型的权值进行分类，并在每类共享权值，从而达到减少神经网络模型所需存储空间的一种模型压缩方法。

在相关技术的神经网络模型的权值量化方法中，在确定了类中心的个数之后，采用聚类方法一次性得到每个类的类中心，然后再对量化后的神经网络模型继续训练，调整类中心。由于同时将所有的权值进行量化，因此为了保证神经网络模型针对目标任务的性能，不得不采用更多的类中心，导致神经网络模型的压缩率不能达到最优。此外，由于一次性将所有权值进行量化，因此在调整训练阶段，没有权值能够弥补量化过程中的精度损失，导致神经网络模型针对目标任务的性能下降。

发明内容

有鉴于此，本公开提出了一种神经网络模型的权值量化方法及装置，以在保证神经网络模型针对目标任务的性能的同时，提高神经网络模型的压缩率。

根据本公开的一方面，提供了一种神经网络模型的权值量化方法，包括：

基于神经网络模型针对的目标任务，将所述神经网络模型训练到收敛状态；

根据所述神经网络模型的每层网络的每个阶段所需量化的类中心的个数，逐阶段将每个阶段所需量化的权值进行量化，得到每个阶段的类中心，其中，每层网络量化的阶段数大于1。

在一种可能的实现方式中，根据所述神经网络模型的每层网络的每个阶段所需量化的类中心的个数，逐阶段将每个阶段所需量化的权值进行量化，得到每个阶段的类中心，包括：

根据本阶段所需量化的权值的比例，从未量化的权值中确定本阶段所需量化的权值；

根据本阶段所需量化的类中心的个数，将本阶段所需量化的权值进行聚类，得到本阶段的类中心。

在一种可能的实现方式中，根据本阶段所需量化的权值的比例，从未量化的权值中确定本阶段所需量化的权值，包括：

根据本层网络所需量化的权值的个数，以及本阶段所需量化的权值的比例，确定本阶段所需量化的权值的个数M，其中，M为正整数；

将未量化的权值中绝对值最大的M个权值确定为本阶段所需量化的权值。

在一种可能的实现方式中，在得到本阶段的类中心之后，还包括：

在本层网络存在未量化的权值的情况下，保持已量化的权值不变，根据所述目标任务训练所述神经网络模型，更新未量化的权值。

根据本公开的另一方面，提供了一种神经网络模型的权值量化装置，包括：

训练模块，用于基于神经网络模型针对的目标任务，将所述神经网络模型训练到收敛状态；

量化模块，用于根据所述神经网络模型的每层网络的每个阶段所需量化的类中心的个数，逐阶段将每个阶段所需量化的权值进行量化，得到每个阶段的类中心，其中，每层网络量化的阶段数大于1。

在一种可能的实现方式中，所述量化模块包括：

确定子模块，用于根据本阶段所需量化的权值的比例，从未量化的权值中确定本阶段所需量化的权值；

量化子模块，用于根据本阶段所需量化的类中心的个数，将本阶段所需量化的权值进行聚类，得到本阶段的类中心。

在一种可能的实现方式中，所述确定子模块用于：

根据本层网络所需量化的权值的个数，以及本阶段所需量化的权值的比例，确定本阶段所需量化的权值的个数M，其中，M为正整数；

将未量化的权值中绝对值最大的M个权值确定为本阶段所需量化的权值。

在一种可能的实现方式中，所述量化模块还包括：

更新子模块，用于在本层网络存在未量化的权值的情况下，保持已量化的权值不变，根据所述目标任务训练所述神经网络模型，更新未量化的权值。

根据本公开的另一方面，提供了一种神经网络模型的权值量化装置，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述方法。

根据本公开的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述方法。

本公开的各方面的神经网络模型的权值量化方法及装置通过将神经网络模型的每层网络的权值分为多个阶段进行量化，由此通过增量的方式逐渐将神经网络模型的权值量化为所需的类中心，能够弥补量化过程中的精度损失，从而能够在保证神经网络模型针对目标任务的性能的同时，提高神经网络模型的压缩率。