[发明专利]模型量化方法、装置、电子设备和存储介质

权利要求书

1.一种模型量化方法，其特征在于，所述方法包括：

获得校准数据集；所述校准数据集为以下之一：图像数据集、点云数据集和语音数据集；

利用全精度模型对所述校准数据集进行处理，获得所述全精度模型中的每个块结构的第一输出数据；所述全精度模型包括多个块结构，每个块结构包括至少一个处理层；

利用至少一种量化模型对所述校准数据集进行处理，获得所述至少一种量化模型中的每个块结构的第二输出数据；所述至少一种量化模型中的每一种量化模型所包括的块结构的数量和所述全精度模型所包括的块结构的数量相同；所述至少一种量化模型为分别按照至少一种位宽量化后的模型；

基于第一量化模型中的第一块结构的第二输出数据，和所述全精度模型中与所述第一块结构对应的第二块结构的第一输出数据，对所述第一块结构的参数进行调整；所述第一块结构为所述第一量化模型中的任一块结构；所述第一量化模型为所述至少一种量化模型中的任一量化模型；

在所述第二输出数据和所述第一输出数据满足第一预设条件的情况下，基于调整后的所述至少一种量化模型获得模型搜索空间，所述模型搜索空间中包括所述至少一种位宽的块结构。

2.根据权利要求1所述的方法，其特征在于，所述获得校准数据集，包括：

判断是否获得校准数据集；

在判定未获得所述校准数据集的情况下，基于预训练的模型对初始化数据进行处理，基于处理结果对所述初始化数据进行更新处理，获得所述校准数据集；其中，所述预训练的模型中包括与所述校准数据集相关的统计参数，所述预训练的模型按照所述统计参数对所述初始化数据进行处理。

3.根据权利要求1所述的方法，其特征在于，所述基于第一量化模型中的第一块结构的第二输出数据，和所述全精度模型中与所述第一块结构对应的第二块结构的第一输出数据，对所述第一块结构的参数进行调整，包括：

基于所述第一输出数据和所述第二输出数据确定损失；

基于所述损失对所述第一块结构的参数进行调整。

4.根据权利要求3所述的方法，其特征在于，所述基于所述第一输出数据和所述第二输出数据确定损失，包括：

基于所述第一输出数据和所述第二输出数据确定费雪信息矩阵；所述费雪信息矩阵中的每个元素表征所述第二输出数据中的每个元素的重要程度；

确定所述第一输出数据和所述第二输出数据之间的误差，基于所述误差和所述费雪信息矩阵确定所述损失。

5.根据权利要求4所述的方法，其特征在于，所述基于所述误差和所述费雪信息矩阵确定所述损失，包括：

基于所述费雪信息矩阵中的每个元素，对所述第二输出数据中对应元素的误差进行加权求和，获得所述损失。

6.根据权利要求3至5任一项所述的方法，其特征在于，所述第二输出数据和所述第一输出数据满足第一预设条件，包括：

在所述损失满足预设约束条件时，确定所述第二输出数据和所述第一输出数据满足所述第一预设条件。

7.根据权利要求1至5任一项所述的方法，其特征在于，所述至少一种位宽包括以下至少之一：2比特位宽、4比特位宽和8比特位宽。

8.根据权利要求7所述的方法，其特征在于，在所述至少一种位宽包括至少两种比特位宽的情况下，所述方法还包括：

确定硬件指标数据，基于所述硬件指标数据和所述模型搜索空间获得初始混合精度集合，所述初始混合精度集合中包括多个个体元素，每个个体元素包括所述模型搜索空间中每个块结构的位宽，其中，所述位宽为所述至少两种比特位宽中的一个比特位宽；

改变所述初始混合精度集合中的至少部分个体元素中的至少部分块结构的位宽，获得满足第二预设条件的目标混合精度个体元素。