[发明专利]离线量化调优方法、装置、设备、介质及程序产品

说明书

本申请实施例提供了一种离线量化调优方法、装置、设备、介质及程序产品。该方法包括：通过获取预设网络模型中的包括多个卷积层的待调优网络，并对待调优网络中各个卷积层的权重参数进行调整，然后，确定不同权重参数分配状态下待调优网络的调优输出结果，并且根据模拟量化输出结果以及不同权重参数所对应的调优输出结果之间的相似度，确定待调优网络中各个卷积层的调优权重参数，以实现在少量输入数据的基础上，能够对模型进行高效的调优。

技术领域

本申请实施例涉及人工智能技术领域，并且更具体地，涉及一种模型离线量化调优方法、装置、设备、介质及程序产品。

背景技术

随着人工智能技术的快速发展，神经网络模型在在系统辨识、模式识别、智能控制等领域都有着广泛的应用。

目前，对于神经网络模型，现有的离线量化方式，大多通过迭代更新权重的方式，使得量化精度更高。其中，主要分为两种方式，分别是离线量化和量化重训练，其中，离线量化所用到的输入数量少，使用方便。

但是，在进行离线量化训练时，用上述少量的输入进行评估时，亟需一种能够对模型进行高效调优的方式。

发明内容

本申请实施例提供的离线量化调优方法、装置、设备、介质及程序产品，以实现在少量输入数据的基础上，能够对模型进行高效的调优。

第一方面，本申请实施例提供了一种离线量化调优方法，包括：

获取预设网络模型中的待调优网络，其中，所述待调优网络包括多个卷积层；

对所述待调优网络中各个卷积层的权重参数进行调整，其中，所述待调优网络的输出精度保持不变；

确定不同权重参数分配状态下所述待调优网络的调优输出结果；

根据模拟量化输出结果以及不同权重参数所对应的调优输出结果之间的相似度，确定所述待调优网络中各个卷积层的调优权重参数。

在一种可能的设计中，所述对所述待调优网络中各个卷积层的权重参数进行调整，包括：

为所述待调优网络分配基础权重参数组合，所述待调优网络包括N个卷积层，所述基础权重参数组合包括N个基础权重参数，所述待调优网络的卷积层与所述基础权重参数组的基础权重参数一一对应，其中，N为正整数；

为所述待调优网络分配调优权重参数组合，所述调优权重参数组合包括N个调优权重参数，所述待调优网络的卷积层与所述调优权重参数组的基础权重参数一一对应，其中，各个调优权重参数相对于所对应的基础权重参数的调优倍数的乘积为预设固定值。

在一种可能的设计中，确定不同权重参数分配状态下所述待调优网络的调优输出结果，包括：

根据不同的调优权重参数组合，确定所述待调优网络的调优输出结果，其中，每次的调优权重参数组合作为下一次调优权重参数分配的基础权重参数组合。

在一种可能的设计中，所述根据不同的调优权重参数组合，确定所述待调优网络的调优输出结果，包括：

若所述待调优网络包括第一普通卷积层以及第二普通卷积层，所述第二普通卷积层为所述第一普通卷积层的后端，则根据不同的调优权重参数组合，确定所述第二普通卷积层的结果输出为所述调优输出结果；或者，

若所述待调优网络包括第一普通卷积层、中间特定卷积层以及第二普通卷积层，所述中间特定卷积层为所述第一普通卷积层的后端，所述第二普通卷积层为所述中间特定卷积层的后端，则根据不同的调优权重参数组合，确定所述第二普通卷积层的结果输出为所述调优输出结果。

在一种可能的设计中，所述第一普通卷积层与所述第二普通卷积层存在至少一个线性整流函数。

在一种可能的设计中，所述根据模拟量化输出结果以及不同权重参数所对应的调优输出结果之间的相似度，确定所述待调优网络中各个卷积层的调优权重参数，包括：

分别确定所述模拟量化输出结果以及各次调优权重参数组合所对应的调优输出结果之间的余弦相似度；