[发明专利]一种神经网络模型的量化方法及装置

权利要求书

1.一种神经网络模型的量化方法，其特征在于，所述方法包括：

在第一约束条件下确定神经网络模型每一层的第一量化位宽，所述第一约束条件依赖指定的电阻随机存取存储器ReRAM加速器的资源设置；

针对所述神经网络模型的每一层，依据该层的第一量化位宽对该层的权重进行量化并将量化结果映射至所述ReRAM加速器，以及依据映射结果确定该层对应的第二约束条件；

针对所述神经网络模型的每一层，对该层中的权重进行分块，针对每一分块，在该层对应的第二约束条件下确定该分块的第二量化位宽，并依据所述第二量化位宽对该分块中的权重进行量化。

2.根据权利要求1所述的方法，其特征在于，所述针对神经网络模型的每一层，对该层中的权重进行分块，包括：

所述针对神经网络模型的每一层，按照指定的量化位宽对该层中的权重进行量化，并将量化结果映射至所述ReRAM加速器；

依据映射结果，将该层中被映射至同一交叉开关阵列crossbar的权重划分至同一分块，被映射至不同crossbar的权重划分至不同分块。

3.根据权利要求1所述的方法，其特征在于，所述在第一约束条件下确定神经网络模型每一层的第一量化位宽，包括：

利用已训练的强化学习模型确定神经网络模型每一层的第一量化位宽；

所述在该层对应的第二约束条件下确定该权重分块的第二量化位宽，包括：

利用已训练的强化学习模型确定该权重分块的第二量化位宽；

其中，所述强化学习模型包括决策网络和评估网络，所述决策网络用于在所述第一约束条件下确定神经网络模型每一层的第一量化位宽，或在所述第二约束条件下确定所述权重分块的第二量化位宽，所述评估网络用于确定所述决策网络确定出的第一量化位宽对应的评价值，或确定所述决策网络确定出的第二量化位宽对应的评价值。

4.根据权利要求3所述的方法，其特征在于，在利用已训练的强化学习模型确定神经网络模型每一层的第一量化位宽时，以量化后的神经网络模型的精度最高为优化目标；

在利用已训练的强化学习模型确定该权重分块的第二量化位宽时，以对该权重分块中的权重进行量化并将量化结果映射至所述ReRAM加速器之后，所述ReRAM加速器中crossbar的利用率最大为优化目标。

5.一种神经网络模型的量化装置，其特征在于，所述装置包括：

第一确定模块，用于在第一约束条件下确定神经网络模型每一层的第一量化位宽，所述第一约束条件依赖指定的电阻随机存取存储器ReRAM加速器的资源设置；

第一量化模块，用于针对所述神经网络模型的每一层，依据该层的第一量化位宽对该层的权重进行量化并将量化结果映射至所述ReRAM加速器，以及依据映射结果确定该层对应的第二约束条件；

分块模块，用于针对所述神经网络模型的每一层，对该层中的权重进行分块；

第二确定模块，用于针对每一分块，在该层对应的第二约束条件下确定该分块的第二量化位宽；

第二量化模块，用于依据所述第二量化位宽对该分块中的权重进行量化。

6.根据权利要求5所述的装置，其特征在于，所述分块模块针对神经网络模型的每一层，对该层中的权重进行分块，包括：

所述针对神经网络模型的每一层，按照指定的量化位宽对该层中的权重进行量化，并将量化结果映射至所述ReRAM加速器；

依据映射结果，将该层中被映射至同一交叉开关阵列crossbar的权重划分至同一分块，被映射至不同crossbar的权重划分至不同分块。