[发明专利]预训练模型的确定方法、装置、电子设备以及存储介质

说明书

本公开提供了预训练模型的确定方法、装置、电子设备以及存储介质，涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景。具体实现方案为：获取多种候选模型；根据多种候选模型的模型结构进行结构编码，以得到各候选模型的结构编码；采用经过训练的编码器将各候选模型的结构编码映射得到对应的频域编码；根据各候选模型的频域编码，预测各候选模型的模型性能参数；根据各候选模型的模型性能参数，从多种候选模型中确定目标模型作为预训练模型。由此，通过根据多种候选模型的频域编码，从多种候选模型中确定目标模型作为预训练模型，能够减少后续对预训练模型进行训练的训练成本，提高训练效率。

技术领域

本公开涉及人工智能技术领域，具体涉及计算机视觉和深度学习技术领域，可应用于图像处理、图像识别等场景，尤其涉及预训练模型的确定方法、装置、电子设备以及存储介质。

背景技术

预训练模型被广泛应用于改进上层人工智能任务的效果，在上游任务中，通过大量的训练数据对预训练模型进行预训练，即可实现在下游任务中，利用少量训练数据对模型进行训练的情况下，就可以取得较好的预测结果。而如何降低预训练模型的训练成本、提高训练效率是很重要的。

发明内容

本公开提供了一种预训练模型的确定方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种预训练模型的确定方法，包括：获取多种候选模型；根据所述多种候选模型的模型结构进行结构编码，以得到各所述候选模型的结构编码；采用经过训练的编码器将各所述候选模型的结构编码映射得到对应的频域编码；根据各所述候选模型的频域编码，预测各所述候选模型的模型性能参数；根据各所述候选模型的模型性能参数，从多种所述候选模型中确定目标模型作为预训练模型。

根据本公开的另一方面，提供了一种预训练模型的确定装置，包括：获取模块，用于获取多种候选模型；编码模块，用于根据所述多种候选模型的模型结构进行结构编码，以得到各所述候选模型的结构编码；映射模块，用于采用经过训练的编码器将各所述候选模型的结构编码映射得到对应的频域编码；预测模块，用于根据各所述候选模型的频域编码，预测各所述候选模型的模型性能参数；确定模块，用于根据各所述候选模型的模型性能参数，从多种所述候选模型中确定目标模型作为预训练模型。

根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的预训练模型的确定方法。

根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的预训练模型的确定方法。

根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现根据如上所述的预训练模型的确定方法。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

附图用于更好地理解本方案，不构成对本公开的限定。其中：

图1是根据本公开第一实施例的预训练模型的确定方法的流程示意图；

图2是根据本公开第二实施例的预训练模型的确定方法的流程示意图；

图3是根据本公开第三实施例的预训练模型的确定方法的流程示意图；

图4是根据本公开第四实施例的预训练模型的确定装置的结构示意图；

图5是根据本公开第五实施例的预训练模型的确定装置的结构示意图；

图6是用来实现本公开实施例的预训练模型的确定方法的电子设备的框图。