[发明专利]评估模型性能的方法、装置、计算机设备及可读存储介质

权利要求书

1.一种评估模型性能的方法，其特征在于，包括：

获取由多个候选混合精度模型的比特配置，组成的候选比特配置集合，所述比特配置用于对待量化浮点模型的不同层进行量化；

从所述候选比特配置集合中分离出候选比特配置子集，测试并记录所述候选比特配置子集中每个所述比特配置的量化性能，所述量化性能为所述比特配置对应的所述混合精度模型量化所述浮点模型时表现的优劣程度；

根据所述浮点模型的层数，将所述浮点模型划分为多个浮点优化单元,并确定所述候选比特配置集合中所有所述比特配置对应的所述混合精度模型相对多个所述浮点优化单元的输出损失；

根据所述量化性能和所述输出损失，对多个候选的所述混合精度模型的性能进行预测评估。

2.根据权利要求1所述的评估模型性能的方法，其特征在于，所述根据所述量化性能和所述输出损失，对多个候选的所述混合精度模型的性能进行预测评估的步骤包括：

采用线性回归方程，对所述候选比特配置子集中所述比特配置的所述量化性能，和所述候选比特配置子集中所述比特配置对应的所述混合精度模型相对多个所述浮点优化单元的所述输出损失进行线性组合，获得性能预测方程；

根据所述性能预测方程，和所述候选比特配置集合中所有所述比特配置对应的所述混合精度模型相对多个所述浮点优化单元的所述输出损失，预测所有所述比特配置对应的所述混合精度模型量化所述浮点模型时表现的优劣程度。

3.根据权利要求1所述的评估模型性能的方法，其特征在于，所述确定所述候选比特配置集合中所有所述比特配置对应的所述混合精度模型相对多个所述浮点优化单元的输出损失的步骤包括：

将每个所述浮点优化单元中各层的待量化数据，量化为由多个不同精度的比特参数构成的多精度量化单元；

根据所述比特配置和所述多精度量化单元的所述比特参数，确定所述混合精度模型在各个所述浮点优化单元处对应的混合精度优化单元；

获取所述浮点优化单元的预定输出特征值，及所述预定输出特征值对应的输入特征，将所述输入特征输入相应的所述混合精度优化单元，获得真实输出特征值，计算每个所述混合精度优化单元的所述真实输出特征值相对所述预定输出特征值之间的损失。

4.根据权利要求3所述的评估模型性能的方法，其特征在于，所述待量化数据包括浮点模型的权重和/或特征值，则，所述将每个所述浮点优化单元中各层的待量化数据，量化为由多个不同精度的比特参数构成的多精度量化单元的步骤包括：

采用预定的数据取整规则，将所述权重和/或所述特征值量化为由多个不同精度的比特参数构成的多精度量化单元。

5.根据权利要求3所述的评估模型性能的方法，其特征在于，所述方法还包括：

通过重构所述浮点优化单元的所述预定输出特征值，更新所述多精度量化单元中的比特参数。

6.根据权利要求3至4任一所述的评估模型性能的方法，其特征在于，所述待量化数据的数据类型包括：

浮点数或整型数，其中，所述浮点数为小于三十二位浮点数的低精度浮点数，所述整型数为小于三十二位整型数的低精度整型数。

7.一种评估模型性能的装置，其特征在于，包括：

配置获取模块(11)，用于获取由多个候选混合精度模型的比特配置，组成的候选比特配置集合，所述比特配置用于对待量化浮点模型的不同层进行量化；

分离测试模块(12)，用于从所述候选比特配置集合中分离出候选比特配置子集，测试并记录所述候选比特配置子集中每个所述比特配置的量化性能，所述量化性能为所述比特配置对应的所述混合精度模型量化所述浮点模型时表现的优劣程度；

损失计算模块(13)，用于根据所述浮点模型的层数，将所述浮点模型划分为多个浮点优化单元,并确定所述候选比特配置集合中所有所述比特配置对应的所述混合精度模型相对多个所述浮点优化单元的输出损失；

评估模块(14)，用于根据所述量化性能和所述输出损失，对多个候选的所述混合精度模型的性能进行预测评估。