[发明专利]模型量化方法、装置、电子设备和存储介质

说明书

本发明实施例提供一种模型量化方法、装置、电子设备和存储介质。所述方法包括：获得校准数据集；利用全精度模型对所述校准数据集进行处理，获得所述全精度模型中的每个块结构的第一输出数据；利用至少一种量化模型对所述校准数据集进行处理，获得所述至少一种量化模型中的每个块结构的第二输出数据；基于第一量化模型中的第一块结构的第二输出数据，和所述全精度模型中与所述第一块结构对应的第二块结构的第一输出数据，对所述第一块结构的参数进行调整；在所述第二输出数据和所述第一输出数据满足第一预设条件的情况下，基于调整后的所述至少一种量化模型获得模型搜索空间，所述模型搜索空间中包括所述至少一种位宽的块结构。

技术领域

本发明涉及机器学习技术领域，具体涉及一种模型量化方法、装置、电子设备和存储介质。

背景技术

神经网络的推理部署是人工智能与计算机系统结构的关键领域，大型神经网络的参数量很大，过多的参数量会占用较多的存储资源，因此神经网络的部署常常需要对模型进行压缩。模型量化是模型压缩的一项重要技术。

目前的模型量化方法时间周期长，并不适合应用大规模模型量化。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种模型量化方法、装置、电子设备和存储介质。

为达到上述目的，本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种模型量化方法，所述方法包括：

获得校准数据集；

利用全精度模型对所述校准数据集进行处理，获得所述全精度模型中的每个块结构的第一输出数据；所述全精度模型包括至少一个块结构，每个块结构包括至少一个处理层；

利用至少一种量化模型对所述校准数据集进行处理，获得所述至少一种量化模型中的每个块结构的第二输出数据；所述至少一种量化模型和所述全精度模型的结构相同；所述至少一种量化模型为分别按照至少一种位宽量化后的模型；

基于第一量化模型中的第一块结构的第二输出数据，和所述全精度模型中与所述第一块结构对应的第二块结构的第一输出数据，对所述第一块结构的参数进行调整；所述第一块结构为所述第一量化模型中的任一块结构；所述第一量化模型为所述至少一种量化模型中的任一量化模型；

在所述第二输出数据和所述第一输出数据满足第一预设条件的情况下，基于调整后的所述至少一种量化模型获得模型搜索空间，所述模型搜索空间中包括所述至少一种位宽的块结构。

上述方案中，所述获得校准数据集，包括：

判断是否获得训练数据集；

在判定未获得训练数据集的情况下，基于预训练的模型对初始化数据进行处理，基于处理结果对所述初始化数据进行更新处理，获得所述校准数据集；其中，所述预训练的模型中包括与所述校准数据集相关的统计参数，所述预训练的模型按照所述统计参数对所述初始化数据进行处理。

上述方案中，所述基于第一量化模型中的第一块结构的第二输出数据，和所述全精度模型中与所述第一块结构对应的第二块结构的第一输出数据，对所述第一块结构的参数进行调整，包括：

基于所述第一输出数据和所述第二输出数据确定损失；

基于所述损失对所述第一块结构的参数进行调整。

上述方案中，所述基于所述第一输出数据和所述第二输出数据确定损失，包括：基于所述第一输出数据和所述第二输出数据确定费雪信息矩阵；所述费雪信息矩阵中的每个元素表征所述第二输出数据中的每个元素的重要程度；

确定所述第一输出数据和所述第二输出数据之间的误差，基于所述误差和所述费雪信息矩阵确定所述损失。