[发明专利]神经网络的量化方法、装置、服务器和存储介质

权利要求书

1.一种神经网络的量化方法，其特征在于，包括：

利用原始权重初始化量化权重；

设置目标函数，所述目标函数包括所述量化权重与所述原始权重之间的夹角、共享权重值和权重分配索引；

求解所述目标函数以最小化所述量化权重与所述原始权重之间的夹角，并得到所述共享权重值及所述权重分配索引；

根据所述共享权重值及所述权重分配索引获得所述量化权重。

2.根据权利要求1所述的神经网络的量化方法，其特征在于，利用原始权重初始化量化权重，包括：

对每一层网络的原始权重使用最小化欧氏距离以初始化所述量化权重。

3.根据权利要求1所述的神经网络的量化方法，其特征在于，利用原始权重初始化量化权重，包括：

对每一层网络的原始权重使用对数量化以初始化所述量化权重。

4.根据权利要求2或3所述的神经网络的量化方法，其特征在于，所述量化方法包括：

在每一层网络中加入批量归一化以减少内部协方差变异。

5.根据权利要求1所述的神经网络的量化方法，其特征在于，所述量化权重与所述原始权重之间的夹角表示为所述原始权重中的第i个核函数矢量与量化权重矢量的内积除以所述第i个核函数矢量和所述量化权重矢量的长度。

6.根据权利要求1所述的神经网络的量化方法，其特征在于，求解所述目标函数，包括：

固定所述共享权重值，调整所述权重分配索引；

固定所述权重分配索引，调整所述共享权重值。

7.根据权利要求1所述的神经网络的量化方法，其特征在于，根据所述共享权重值及所述权重分配索引获得所述量化权重，包括：

按照所述权重分配索引依次对每层所述原始权重分配对应的共享权重值以获得所述量化权重。

8.一种神经网络的量化装置，其特征在于，包括：

初始化模块，所述初始化模块用于利用原始权重初始化量化权重；

设置模块，所述设置模块用于设置目标函数，所述目标函数包括所述量化权重与所述原始权重之间的夹角、共享权重值和权重分配索引；

求解模块，所述求解模块用于求解所述目标函数以最小化所述量化权重与所述原始权重之间的夹角，并得到所述共享权重值及所述权重分配索引；

分配模块，所述分配模块用于根据所述共享权重值及所述权重分配索引获得所述量化权重。

9.一种服务器，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器用于执行所述程序以实现权利要求1-7任一项所述的神经网络的量化方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行的情况下，实现权利要求1-7任一项所述的神经网络的量化方法的步骤。