[发明专利]模型量化方法、装置、设备、计算机程序及存储介质

权利要求书

1.一种模型量化方法，其特征在于，包括：

利用待量化的初始模型进行模型推理，得到初始数据集合；所述初始数据集合包含所述初始模型中每个网络层输出的激活值的截断值；

基于目标部署平台的量化模式，对所述初始模型进行模拟量化，得到量化数据集合；所述模拟量化用于对所述初始模型中每个网络层输出的激活值进行量化与还原后进入下一层网络层进行推理，所述量化数据集合包含所述每个网络层模拟量化后的激活值的截断值；

基于所述初始数据集合与所述量化数据集合，计算量化误差集合；并基于所述量化误差集合对所述初始模型进行调整，得到量化模型；

基于所述每个网络层模拟量化后的激活值的截断值，生成量化参数；所述量化参数用于将所述量化模型部署至所述目标部署平台。

2.根据权利要求1所述的方法，其特征在于，所述利用待量化的初始模型进行模型推理，得到初始数据集合，包括：

获取量化校准数据；

通过所述初始模型中的每个网络层，对所述量化校准数据进行模型推理，得到所述每个网络层输出的至少一个激活值；

对于所述每个网络层的至少一个激活值，利用至少一种预设统计算法进行统计截断处理，得到所述每个网络层对应的激活值的截断值，作为所述初始数据集合。

3.根据权利要求2所述的方法，其特征在于，所述每个网络层对应的激活值的截断值，包括以下任意一种：

所述至少一个激活值中的最大值、所述至少一个激活值中的最小值、或所述至少一个激活值的中位数的方差值。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于目标部署平台的量化模式，对所述初始模型进行模拟量化，得到量化数据集合，包括：

对于所述初始模型中的每个网络层，根据所述每个网络层对应的激活值的截断值，得到所述每个网络层对应的量化尺度；

利用所述初始模型中的第i层网络，对第i-1层输出的第i-1个量化数据进行推理，得到第i个初始激活值；其中，i为大于或等于2的正整数；第1个量化数据为所述初始模型中的第一层网络对量化校准数据进行推理，并对推理得到的第一个初始激活值进行量化处理与尺度还原得到的；

根据所述第i层网络对应的量化尺度，结合所述量化模式与预设量化精度，对所述第i个初始激活值进行量化处理与尺度还原，得到第i个量化数据，实现对所述第i层网络层的模拟量化，直至对所述初始模型中的各个网络层实现模拟量化，得到所述量化数据集合。

5.根据权利要求4所述的方法，其特征在于，所述量化模式包括：零点系数，所述根据所述第i层网络对应的量化尺度，结合所述量化模式与预设量化精度，对所述第i个初始激活值进行量化处理与尺度还原，得到第i个量化数据，包括：

对所述第i个初始激活值与所述量化尺度的比值进行取整，得到第i个初始量化值；

利用零点系数，对所述第i个初始量化值进行调整，得到第i个中间量化值；

利用所述预设量化精度，对所述第i个中间量化值进行截断，得到第i个量化值，完成量化处理过程；

将所述第i个量化值与所述量化尺度的乘积，作为所述第i个量化数据，完成尺度还原过程。

6.根据权利要求1或5所述的方法，其特征在于，所述基于所述初始数据集合与所述量化数据集合，计算量化误差集合，包括：

计算所述初始数据集合中每个初始数据，与所述量化数据集合中每个量化数据之间的余弦距离，作为所述每个网络层对应的量化误差，从而得到所述量化误差集合。

7.根据权利要求1或5所述的方法，其特征在于，所述基于所述量化误差集合对所述初始模型进行调整，得到量化模型，包括：

在通过对所述量化误差集合进行误差数值分析和/或误差分布分析，确定达到预设调整条件的情况下，根据所述目标部署平台的平台类型，确定误差调整方式；

采用所述误差调整方式，对所述初始模型的网络参数进行调整，得到所述量化模型。