[发明专利]量化模型的优化方法和装置、存储介质及电子装置

权利要求书

1.一种量化模型的优化方法，其特征在于，包括：

将初始模型转换为平台模型，其中，所述平台模型为满足所述初始模型的第一使用平台所对应的使用条件的模型；

在所述平台模型运行过程对应的第一准确率值低于目标准确率值的情况下，在所述平台模型中对准确率损失位置进行定位，得到存在准确率损失的目标网络层；

获取所述目标网络层对应的替换模型，其中，所述替换模型与所述目标网络层具有相同的运算功能，所述替换模型对应的第二准确率值高于所述第一准确率值；

将第一平台子模型、所述替换模型和第二平台子模型进行连接，得到所述平台模型对应的目标量化模型，其中，所述第一平台子模型是所述平台模型中位于所述目标网络层之前的部分模型，所述第二平台子模型是所述平台模型中位于所述目标网络层之后的部分模型。

2.根据权利要求1所述的方法，其特征在于，在所述平台模型中对准确率损失位置进行定位，得到存在准确率损失的目标网络层，包括：

将所述初始模型转换为浮点模型，其中，所述浮点模型为满足所述初始模型的第二使用平台所对应的使用条件的模型；

比对所述第一准确率值与第二准确率值，得到所述平台模型中的准确率损失位置，其中，所述第二准确率值是所述浮点模型运行过程对应的准确率值；

将所述平台模型中与所述准确率损失位置对应的网络层确定为所述目标网络层。

3.根据权利要求2所述的方法，其特征在于，获取所述目标网络层对应的替换模型，包括：

从所述浮点模型中获取与所述平台模型中的所述准确率损失位置对应的浮点模型位置；

将所述浮点模型中位于所述浮点模型位置的网络层所组成的模型确定为所述替换模型。

4.根据权利要求1所述的方法，其特征在于，所述将第一平台子模型、所述替换模型和第二平台子模型进行连接，包括：

在所述平台模型中所述目标网络层所在的位置对所述平台模型进行拆分，得到所述第一平台子模型和所述第二平台子模型；

将所述第一平台子模型，所述替换模型和所述第二平台子模型依次连接，得到所述目标量化模型。

5.根据权利要求1至4中任一项所述的方法，其特征在于，在将初始模型转换为平台模型之前，所述方法还包括：

获取所述第一使用平台所支持的平台量化参数，其中，所述平台量化参数包括：默认量化参数和历史量化参数；

将所述初始模型中所使用的算法名称与所述历史量化参数进行匹配；

在从所述历史量化参数匹配到与所述算法名称一致的目标历史参数的情况下，依据所述目标历史参数对所述初始模型进行参数配置；

在从所述历史量化参数未匹配到与所述算法名称一致的目标历史参数的情况下，依据所述默认量化参数对所述初始模型进行参数配置。

6.根据权利要求1至4中任一项所述的方法，其特征在于，在所述平台模型中对准确率损失位置进行定位，得到存在准确率损失的目标网络层之前，所述方法还包括：

将所述初始模型转换为浮点模型，其中，所述浮点模型为满足所述初始模型的第二使用平台所对应的使用条件的模型；

获取所述浮点模型运行过程对应的第二准确率值；

以所述第二准确率值为依据，确定所述平台模型运行过程中的所述第一准确率值。

7.根据权利要求1至4中任一项所述的方法，其特征在于，在将初始模型转换为平台模型之后，所述方法还包括：

在所述第一准确率值高于或等于所述目标准确率的情况下，获取所述平台模型的量化方案集合，其中，所述量化方案集合中包括允许所述平台模型使用的量化参数组合的方案；

确定使用所述量化方案集合中所包括的每个量化方案的所述平台模型对应的第三准确率值；

从所述量化方案集合中获取所对应的所述第三准确率值高于预设阈值的候选量化方案，其中，所述预设阈值大于所述目标准确率值；

将所述候选量化方案中所对应的所述第三准确率值最高的量化方案确定为所述平台模型对应的目标量化方案。