[发明专利]量化参数处理方法及装置

权利要求书

1.一种量化参数处理方法，其特征在于，包括：

获取模型量化工具中包括的每个参数配置项、以及每个参数配置项对应的所有量化参数；

将每个参数配置项对应的各个量化参数进行组合，得到多个量化参数组合；每个量化参数组合包括每个参数配置项中的任意一个量化参数；

获取待量化浮点型模型；

针对每个量化参数组合，基于所述量化参数组合中的各个量化参数，调用所述模型量化工具对所述待量化浮点型模型进行量化处理，得到所述量化参数组合对应的量化模型；

计算每个量化参数组合对应的量化模型的模型精度，并将目标模型精度对应的量化参数组合确定为目标量化参数组合；所述目标模型精度为各个模型精度中最高的或最低的模型精度。

2.根据权利要求1所述的方法，其特征在于，所述获取模型量化工具中包括的每个参数配置项、以及每个参数配置项对应的所有量化参数，包括：

获取预先生成的配置文件；所述配置文件中预先存储模型量化工具中包括的每个参数配置项、以及每个参数配置项对应的所有量化参数；

对所述配置文件进行解析，以获得所述模型量化工具中包括的每个参数配置项、以及每个参数配置项对应的所有量化参数。

3.根据权利要求1所述的方法，其特征在于，所述基于所述量化参数组合中的各个量化参数，调用所述模型量化工具对所述待量化浮点型模型进行量化处理，得到所述量化参数组合对应的量化模型，包括：

针对所述量化参数组合中的每个量化参数，确定所述模型量化工具中与所述量化参数对应的写入位置；

将所述量化参数组合中的每个量化参数写入所述模型量化工具中与该量化参数对应的写入位置中，以触发所述模型量化工具基于所述量化参数组合中的各个量化参数，对所述待量化浮点型模型进行量化处理，得到所述量化参数组合对应的量化模型。

4.根据权利要求1所述的方法，其特征在于，所述将每个参数配置项对应的各个量化参数进行组合，得到多个量化参数组合，包括：

从各个参数配置项中选取一个参数配置项作为第一参数配置项，并将各个参数配置项中除第一参数配置项外的每个参数配置项确定为第二参数配置项；

针对所述第一参数配置项对应的每个量化参数，将所述量化参数与每个第二参数配置项对应的每个量化参数进行组合，得到所述量化参数对应的多个量化参数组合。

5.根据权利要求1所述的方法，其特征在于，所述将目标模型精度对应的量化参数组合确定为目标量化参数组合之后，还包括：

将每个量化参数组合，以及每个量化参数组合对应的量化模型的模型精度对应存储至预先构建的表格中。

6.根据权利要求5所述方法，其特征在于，还包括：

获取所述待量化浮点型模型的模型精度；

将所述待量化浮点型模型的模型精度存储至所述表格中。

7.一种量化参数处理装置，其特征在于，包括：

第一获取单元，用于获取模型量化工具中包括的每个参数配置项、以及每个参数配置项对应的所有量化参数；

组合单元，用于将每个参数配置项对应的各个量化参数进行组合，得到多个量化参数组合；每个量化参数组合包括每个参数配置项中的任意一个量化参数；

第二获取单元，用于获取待量化浮点型模型；

量化单元，用于针对每个量化参数组合，基于所述量化参数组合中的各个量化参数，调用所述模型量化工具对所述待量化浮点型模型进行量化处理，得到所述量化参数组合对应的量化模型；

确定单元，用于计算每个量化参数组合对应的量化模型的模型精度，并将目标模型精度对应的量化参数组合确定为目标量化参数组合；所述目标模型精度为各个模型精度中最高的或最低的模型精度。