[发明专利]一种网络模型的量化方法、装置及设备

权利要求书

1.一种网络模型的量化方法，其特征在于，针对初始网络模型中每个待量化网络层，所述待量化网络层采用第一精度浮点型参数值，所述方法包括：

将第一精度浮点型输入特征输入给待量化网络层得到第一输出特征；

获取多个超参组合，每个超参组合均包括指数位宽、尾数位宽和指数偏移；

针对每个超参组合，基于所述超参组合确定所述第一精度浮点型参数值对应的第二精度浮点型参数值、所述第一精度浮点型输入特征对应的第二精度浮点型输入特征，第二精度低于第一精度；确定待量化网络层对应的量化后网络层，所述量化后网络层采用所述第二精度浮点型参数值；将所述第二精度浮点型输入特征输入给量化后网络层得到所述超参组合对应的第二输出特征；

基于所述第一输出特征与每个超参组合对应的第二输出特征的相似度，将最大相似度对应的超参组合对应的第二精度浮点型参数值，更新为所述待量化网络层的目标参数值，得到所述待量化网络层对应的目标网络层。

2.根据权利要求1所述的方法，其特征在于，所述获取多个超参组合包括：

从已配置的指数位宽集合中搜索出指数位宽，基于所述指数位宽和已获取的总比特位宽确定尾数位宽；或者，从已配置的尾数位宽集合中搜索出尾数位宽，基于所述尾数位宽和已获取的总比特位宽确定指数位宽；

从偏移值集合中搜索出偏移值，基于基准偏移和所述偏移值确定指数偏移；

基于所述指数位宽、所述尾数位宽和所述指数偏移确定出超参组合。

3.根据权利要求2所述的方法，其特征在于，

所述基于所述指数位宽和已获取的总比特位宽确定尾数位宽，包括：

确定所述总比特位宽与符号位比特数的第一差值，确定所述第一差值与所述指数位宽的第二差值，并基于所述第二差值确定所述尾数位宽；

所述基于所述尾数位宽和已获取的总比特位宽确定指数位宽，包括：

确定所述总比特位宽与符号位比特数的第一差值，确定所述第一差值与所述尾数位宽的第三差值，并基于所述第三差值确定所述指数位宽；

其中，所述符号位比特数为固定数值。

4.根据权利要求2所述的方法，其特征在于，所述基于基准偏移和所述偏移值确定指数偏移之前，采用如下步骤确定所述基准偏移：

将样本数据输入给所述初始网络模型，得到每个待量化网络层对应的激活值集合，所述激活值集合包括多个激活值；针对每个待量化网络层，从所述待量化网络层对应的激活值集合中选取所述待量化网络层对应的目标激活值；

基于每个待量化网络层对应的目标激活值确定所述基准偏移；其中，所述基准偏移为使各待量化网络层对应的目标激活值均小于目标最大值的指数偏移，所述目标最大值为该指数偏移对应的浮点数可表示的最大值。

5.根据权利要求4所述的方法，其特征在于，所述从所述待量化网络层对应的激活值集合中选取所述待量化网络层对应的目标激活值，包括：

按照从小到大的顺序对所述激活值集合中的所有激活值进行排序，基于第一比例阈值和所述激活值集合中的激活值总数量确定第一截断值，将位于所述第一截断值前面的激活值确定为所述目标激活值；或者，

按照从大到小的顺序对所述激活值集合中的所有激活值进行排序，基于第二比例阈值和所述激活值集合中的激活值总数量确定第二截断值，将位于所述第二截断值前面的激活值确定为所述目标激活值。

6.根据权利要求1所述的方法，其特征在于，所述基于所述超参组合确定所述第一精度浮点型参数值对应的第二精度浮点型参数值、所述第一精度浮点型输入特征对应的第二精度浮点型输入特征，包括：

基于所述第一精度浮点型参数值、所述超参组合中的指数位宽、尾数位宽和指数偏移，确定第一尾数数值和第一指数数值；基于所述第一尾数数值、所述第一指数数值和所述指数偏移，确定所述第二精度浮点型参数值；

基于所述第一精度浮点型输入特征、所述超参组合中的指数位宽、尾数位宽和指数偏移，确定第二尾数数值和第二指数数值；基于所述第二尾数数值、所述第二指数数值和所述指数偏移，确定所述第二精度浮点型输入特征。