[发明专利]网络模型确定方法、装置、电子设备及可读存储介质

说明书

本申请提供一种网络模型确定方法、装置、电子设备及可读存储介质，该方法包括：依据预设搜索空间构建超网络；依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络；其中，N1、N2为正整数；依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特。该方法可以在优化所确定的最终网络模型的性能的情况下，减少搜索空间，提高搜索效率。

技术领域

本申请涉及深度学习技术领域，尤其涉及一种网络模型确定方法、装置、电子设备及可读存储介质。

背景技术

目前，深度学习技术在很多领域都取得了重要的成果，而神经网络结构设计对其性能起着决定性作用。人工设计的模型结构，需要领域专家根据经验设计，对设计者的专业能力和经验有着很高的要求，设计成本较高。

近年来，模型结构搜索(Neural Architecture Search，简称NAS)成为一个研究热点，通过自动搜索得到给定限制下的高效模型结构。

如何自动搜索得到更优的网络模型结构成为一个亟待解决的技术问题。

发明内容

有鉴于此，本申请提供一种网络模型确定方法、装置、电子设备及可读存储介质，以优化自动搜索得到的网络模型的性能。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种网络模型确定方法，包括：

依据预设搜索空间构建超网络；

依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络；其中，N1、N2为正整数；

依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特；其中，所述浮点超网络用于确定模型结构，所述浮点比特超网络用于确定量化比特，所述N1/N2比特超网络用于确定不同模型结构和/或不同量化比特的子网络的性能。

根据本申请实施例的第二方面，提供一种网络模型确定装置，包括：

构建单元，用于依据预设搜索空间构建超网络；

训练单元，用于依据所述超网络，分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络；其中，N1、N2为正整数；

搜索单元，用于依据所述浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特；其中，所述浮点超网络用于确定模型结构，所述浮点比特超网络用于确定量化比特，所述N1/N2比特超网络用于确定不同模型结构和/或不同量化比特的子网络的性能。

根据本申请实施例的第三方面，提供一种电子设备，包括处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令，所述处理器用于执行机器可执行指令，以实现上述网络模型确定方法。

根据本申请实施例的第四方面，提供一种机器可读存储介质，所述机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上述网络模型确定方法。

本申请提供的技术方案至少可以带来以下有益效果：

通过依据预设搜索空间构建的超网络，并依据该超网络分别训练得到浮点超网络、浮点比特超网络、N1/N2比特超网络，由浮点超网络提供模型结构、由浮点比特超网络提供量化比特，以及由N1/N2比特超网络提供不同模型结构和/或不同量化比特的子网络的性能，依据浮点超网络、浮点比特超网络、N1/N2比特超网络，进行模型结构和混合比特联合搜索，确定最终模型结构和量化比特，在优化所确定的最终网络模型的性能的情况下，减少了搜索空间，提高了搜索效率。

附图说明