[发明专利]量化模型的优化方法和装置、存储介质及电子装置

说明书

本发明公开了一种量化模型的优化方法和装置、存储介质及电子装置，其中，上述方法包括：将初始模型转换为平台模型；在所述平台模型运行过程对应的第一准确率值低于目标准确率的情况下，在所述平台模型中对准确率损失位置进行定位，得到存在准确率损失的目标网络层；获取所述目标网络层对应的替换模型；将第一平台子模型，所述替换模型和第二平台子模型进行连接，得到所述平台模型对应的目标量化模型，其中，所述第一平台子模型是所述平台模型中位于所述目标网络层之前的部分模型，所述第二平台子模型是所述平台模型中位于所述目标网络层之后的部分模型。本发明有效解决了现有技术中模型量化过程中无法通过调参或调试平台引擎代码降低网络层精度损失的技术问题。

技术领域

本发明涉及人工智能模型量化领域，具体而言，涉及一种量化模型的优化方法和装置、存储介质及电子装置。

背景技术

随着深度学习技术的发展，为了加速神经网络模型的运行速度，便于神经网络在平台中部署，通常使用量化技术将浮点计算模型量化为定点计算模型。但大部分平台推理引擎中不支持网络模型转换后量化层参数调整，并且平台引擎代码不开源，只能由引擎框架开发者维护，无法在应用层上实施调优，这就使得模型量化过程中遇到的大部分网络层精度损失问题无法通过调参或调试平台引擎代码解决。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种量化模型的优化方法和装置、存储介质及电子装置，以至少解决模型量化过程中无法通过调参或调试平台引擎代码降低网络层精度损失的技术问题。

根据本发明实施例的一个方面，提供了一种量化模型的优化方法，该方法包括：将初始模型转换为平台模型，其中，平台模型为满足初始模型的第一使用平台所对应的使用条件的模型；在平台模型运行过程对应的第一准确率值低于目标准确率的情况下，在平台模型中对准确率损失位置进行定位，得到存在准确率损失的目标网络层；获取目标网络层对应的替换模型，其中，替换模型与目标网络层具有相同的运算功能，替换模型对应的第二准确率值高于第一准确率值；将第一平台子模型、替换模型和第二平台子模型进行连接，得到平台模型对应的目标量化模型，其中，第一平台子模型是平台模型中位于目标网络层之前的部分模型，第二平台子模型是平台模型中位于目标网络层之后的部分模型。

可选地，上述在平台模型中对准确率损失位置进行定位，得到存在准确率损失的目标网络层，包括：将初始模型转换为浮点模型，其中，浮点模型为满足所述初始模型的第二使用平台所对应的使用条件的模型；比对第一准确率值与第二准确率值，得到平台模型中的准确率损失位置，其中，第二准确率值是浮点模型运行过程对应的准确率值；将平台模型中与准确率损失位置对应的网络层确定为目标网络层。

可选地，上述获取目标网络层对应的替换模型包括：从浮点模型中获取与初始模型中的准确率损失位置对应的浮点模型位置；将浮点模型中位于浮点模型位置的网络层所组成的模型确定为替换模型。

可选地，上述将第一平台子模型、替换模型和第二平台子模型进行连接，包括：在平台模型中目标网络层所在的位置对平台模型进行拆分，得到第一平台子模型和第二平台子模型；将第一平台子模型、替换模型和第二平台子模型依次连接，得到目标量化模型。

可选地，在上述将初始模型转换为平台模型之前，还包括：获取第一使用平台所支持的平台量化参数，其中，平台量化参数包括：默认量化参数和历史量化参数；将初始模型中所使用的算法名称与历史量化参数进行匹配；在从历史量化参数匹配到与算法名称一致的目标历史参数的情况下，依据目标历史参数对初始模型进行参数配置；在从历史量化参数未匹配到与算法名称一致的目标历史参数的情况下，依据默认量化参数对初始模型进行参数配置。

可选地，在上述在平台模型中对准确率损失位置进行定位，得到存在准确率损失的目标网络层之前，还包括：将初始模型转换为浮点模型，其中，浮点模型为满足初始模型的第二使用平台所对应的使用条件的模型；获取浮点模型运行过程对应的第二准确率值；以第二准确率值为依据，确定平台模型运行过程中的第一准确率值。