[发明专利]神经网络模型的权值量化方法及装置

权利要求书

1.一种神经网络模型的权值量化方法，其特征在于，包括：

基于神经网络模型针对的目标任务，将所述神经网络模型训练到收敛状态；

根据所述神经网络模型的每层网络的每个阶段所需量化的类中心的个数，逐阶段将每个阶段所需量化的权值进行量化，得到每个阶段的类中心，其中，每层网络量化的阶段数大于1。

2.根据权利要求1所述的方法，其特征在于，根据所述神经网络模型的每层网络的每个阶段所需量化的类中心的个数，逐阶段将每个阶段所需量化的权值进行量化，得到每个阶段的类中心，包括：

根据本阶段所需量化的权值的比例，从未量化的权值中确定本阶段所需量化的权值；

根据本阶段所需量化的类中心的个数，将本阶段所需量化的权值进行聚类，得到本阶段的类中心。

3.根据权利要求2所述的方法，其特征在于，根据本阶段所需量化的权值的比例，从未量化的权值中确定本阶段所需量化的权值，包括：

根据本层网络所需量化的权值的个数，以及本阶段所需量化的权值的比例，确定本阶段所需量化的权值的个数M，其中，M为正整数；

将未量化的权值中绝对值最大的M个权值确定为本阶段所需量化的权值。

4.根据权利要求2所述的方法，其特征在于，在得到本阶段的类中心之后，还包括：

在本层网络存在未量化的权值的情况下，保持已量化的权值不变，根据所述目标任务训练所述神经网络模型，更新未量化的权值。

5.一种神经网络模型的权值量化装置，其特征在于，包括：

训练模块，用于基于神经网络模型针对的目标任务，将所述神经网络模型训练到收敛状态；

量化模块，用于根据所述神经网络模型的每层网络的每个阶段所需量化的类中心的个数，逐阶段将每个阶段所需量化的权值进行量化，得到每个阶段的类中心，其中，每层网络量化的阶段数大于1。

6.根据权利要求5所述的装置，其特征在于，所述量化模块包括：

确定子模块，用于根据本阶段所需量化的权值的比例，从未量化的权值中确定本阶段所需量化的权值；

量化子模块，用于根据本阶段所需量化的类中心的个数，将本阶段所需量化的权值进行聚类，得到本阶段的类中心。

7.根据权利要求6所述的装置，其特征在于，所述确定子模块用于：

根据本层网络所需量化的权值的个数，以及本阶段所需量化的权值的比例，确定本阶段所需量化的权值的个数M，其中，M为正整数；

将未量化的权值中绝对值最大的M个权值确定为本阶段所需量化的权值。

8.根据权利要求6所述的装置，其特征在于，所述量化模块还包括：

更新子模块，用于在本层网络存在未量化的权值的情况下，保持已量化的权值不变，根据所述目标任务训练所述神经网络模型，更新未量化的权值。

9.一种神经网络模型的权值量化装置，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行权利要求1至4中任意一项所述的方法。

10.一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其特征在于，所述计算机程序指令被处理器执行时实现权利要求1至4中任意一项所述的方法。