[发明专利]网络模型确定方法、装置、电子设备及可读存储介质

权利要求书

1.一种网络模型确定方法，其特征在于，包括：

依据预设搜索空间构建超网络；

依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络；其中，N1、N2为正整数；

依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特；其中，所述浮点超网络用于确定模型结构，所述浮点比特超网络用于确定量化比特，所述N1/N2比特超网络用于确定不同模型结构和/或不同量化比特的子网络的性能。

2.根据权利要求1所述的方法，其特征在于，所述依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络，包括：

对所述超网络进行浮点训练，得到浮点超网络；

为所述浮点超网络的各可量化结构分别添加可训练量化超参，并通过量化训练，得到浮点比特超网络；其中，所述浮点超网络的可量化结构包括所述浮点网络的卷积层的权值或输入、或所述浮点网络的全连接层的权值或输入；

以及，为所述浮点超网络各可量化结构分别添加N1/N2比特的量化分支，并通过量化训练，得到N1/N2比特超网络。

3.根据权利要求1所述的方法，其特征在于，所述依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特，包括：

依据所述浮点超网络以及所述浮点比特超网络进行模型结构和混合比特联合搜索，分别确定多个个体的模型结构和量化比特；其中，不同个体表征不同模型结构和/或不同量化比特的子网络；

依据所述N1/N2比特超网络确定各个体的性能排序，并依据性能排序进行迭代搜索，得到最终模型结构和量化比特。

4.根据权利要求3所述的方法，其特征在于，所述依据所述浮点超网络以及所述浮点比特超网络进行模型结构和混合比特联合搜索，分别确定多个个体的模型结构和量化比特，包括：

对于依据所述浮点超网络得到的任一模型结构的个体，依据所述浮点比特超网络，确定该个体的各可量化结构的浮点量化比特；其中，可量化结构的浮点量化比特由该可量化结构的可训练量化超参经过所述量化训练得到；

依据该个体的各可量化结构的浮点量化比特，确定该各个体的各可量化结构的量化比特为N1比特或N2比特；其中，浮点量化比特更大的可量化结构的量化比特大于或等于浮点量化比特更小的可量化结构的量化比特。

5.根据权利要求4所述的方法，其特征在于，所述依据该个体的各可量化结构的浮点量化比特，确定该各个体的各可量化结构的量化比特，包括：

分别比较该个体的各可量化结构的浮点量化比特与预设阈值；

对于该个体的任一可量化结构，当该可量化结构的浮点量化比特大于所述预设阈值时，确定该可量化结构的量化比特为N2比特；否则，确定该可量化结构的量化比特为N1比特；N1＜N2。

6.根据权利要求5所述的方法，其特征在于，所述依据所述N1/N2比特超网络确定各个体的性能排序，包括：

对于任一个体，依据该个体的模型结构和量化比特，确定所述N1/N2比特超网络中，与该个体的模型结构和量化比特均相同的目标子网络；

依据各个体对应的目标子网络的性能排序，确定各个体的性能排序；

所述依据性能排序进行迭代搜索，包括：

依据当前轮次中性能从高到低排序的前K个个体，进行下一轮次的搜索，K为正整数。

7.一种网络模型确定装置，其特征在于，包括：

构建单元，用于依据预设搜索空间构建超网络；

训练单元，用于依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络；其中，N1、N2为正整数；

搜索单元，用于依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特；其中，所述浮点超网络用于确定模型结构，所述浮点比特超网络用于确定量化比特，所述N1/N2比特超网络用于确定不同模型结构和/或不同量化比特的子网络的性能。