[发明专利]量化参数处理方法及装置

说明书

本申请提供了一种量化参数处理方法及装置，获取模型量化工具中包括的每个参数配置项、以及每个参数配置项对应的所有量化参数；将每个参数配置项对应的各个量化参数进行组合，得到多个量化参数组合；每个量化参数组合包括每个参数配置项中的任意一个量化参数；获取待量化浮点型模型；针对每个量化参数组合，基于量化参数组合中的各个量化参数，调用模型量化工具对待量化浮点型模型进行量化处理，得到量化参数组合对应的量化模型；计算每个量化参数组合对应的量化模型的模型精度，并将各个模型精度中最高的或最低的模型精度对应的量化参数组合确定为目标量化参数组合。实现了确保所确定的目标量化参数组合是所有量化参数组合中的最优量化参数组合。

技术领域

本申请涉及深度学习技术领域，尤其涉及一种量化参数处理方法及装置。

背景技术

随着深度学习技术的不断发展，基于深度学习的深度神经网络模型被广泛应用于各个领域，但在对深度神经网络模型的实际部署中，仍然存在模型大，导致计算资源(例如CPU)消耗较大等问题，进而导致无法在终端设备或者边缘设备上进行部署，因此，为了降低计算资源消耗，需要对神经网络模型进行量化。

现有技术中，模型量化基于模型量化工具实现，模型量化工具设置有多个参数配置项，每个参数配置项对应有多个量化参数供用户进行配置，用户根据经验从每个参数配置项对应的多个量化参数中选择一个量化参数进行模型量化。由于需要配置的参数配置项、以及每一个参数配置项对应可选择的量化参数较多，由此可形成多种量化参数组合，导致可能出现用户所配置的量化参数组合不是最优的量化参数组合的情况，从而导致基于该量化参数组合所量化得到的量化模型精度非常低，无法满足最小精度损失的模型量化需求。

发明内容

本申请提供了一种量化参数处理方法及装置，目的在于解决量化参数组合较多，导致可能出现用户所配置的量化参数组合不是最优的量化参数组合的情况，从而导致基于该量化参数组合所量化得到的量化模型精度非常低，无法满足最小精度损失的模型量化需求的问题。

为了实现上述目的，本申请提供了以下技术方案：

一种量化参数处理方法，包括：

获取模型量化工具中包括的每个参数配置项、以及每个参数配置项对应的所有量化参数；

将每个参数配置项对应的各个量化参数进行组合，得到多个量化参数组合；每个量化参数组合包括每个参数配置项中的任意一个量化参数；

获取待量化浮点型模型；

针对每个量化参数组合，基于所述量化参数组合中的各个量化参数，调用所述模型量化工具对所述待量化浮点型模型进行量化处理，得到所述量化参数组合对应的量化模型；

计算每个量化参数组合对应的量化模型的模型精度，并将目标模型精度对应的量化参数组合确定为目标量化参数组合；所述目标模型精度为各个模型精度中最高的或最低的模型精度。

上述的方法，可选的，所述获取模型量化工具中包括的每个参数配置项、以及每个参数配置项对应的所有量化参数，包括：

获取预先生成的配置文件；所述配置文件中预先存储模型量化工具中包括的每个参数配置项、以及每个参数配置项对应的所有量化参数；

对所述配置文件进行解析，以获得所述模型量化工具中包括的每个参数配置项、以及每个参数配置项对应的所有量化参数。

上述的方法，可选的，所述基于所述量化参数组合中的各个量化参数，调用所述模型量化工具对所述待量化浮点型模型进行量化处理，得到所述量化参数组合对应的量化模型，包括：

针对所述量化参数组合中的每个量化参数，确定所述模型量化工具中与所述量化参数对应的写入位置；