[发明专利]神经网络的生成方法、装置、电子设备及存储介质

说明书

本公开提供了一种神经网络的生成方法、装置、电子设备及存储介质。其中，该方法包括：从基于多个结构相同的超大神经网络确定的路径搜索空间中，确定待训练路径；基于所述待训练路径中的各个算子分别在多个所述超大神经网络中的第一算子内参、以及所述待训练路径分别在多个所述超大神经网络中的路径权重，确定所述待训练路径中各算子在所述待训练路径中的第二算子内参；利用所述第二算子内参，对多个所述超大神经网络进行本轮训练；基于多轮训练后的多个所述超大神经网络，生成目标神经网络。

技术领域

本公开涉及深度学习技术领域，具体而言，涉及一种神经网络的生成方法、装置、电子设备及存储介质。

背景技术

自动网络结构搜索是通过在预先构建的搜索空间中，基于一定的搜索算法确定神经网络结构方法，旨在可以解除手工设计网络的高成本与经验偏差，从而得到性能更加好的神经网络结构。

当前的自动网络结构搜索方法中，对于同一个算子，在不同的路径中使用相同的算子参数(即算子在神经网络中对应的权重参数)，由此难以准确评估不同路径对应的不同网络结构的性能，由此加大了网络结构搜索的难度。

发明内容

本公开实施例至少提供一种神经网络的生成方法、装置、电子设备及存储介质。

第一方面，本公开实施例提供了一种神经网络的生成方法，包括：从基于多个结构相同的超大神经网络确定的路径搜索空间中，确定待训练路径；基于所述待训练路径中的各个算子分别在多个所述超大神经网络中的第一算子内参、以及所述待训练路径分别在多个所述超大神经网络中的路径权重，确定所述待训练路径中各算子在所述待训练路径中的第二算子内参；利用所述第二算子内参，对多个所述超大神经网络进行本轮训练；基于多轮训练后的多个所述超大神经网络，生成目标神经网络。

这样，通过在训练超大神经网络的过程中，控制同一算子在不同路径中具有不同的算子内参，进而保证对路径的性能评估更加准确，提升生成的神经网络的性能。

一种可能的实施方式中，所述从基于多个结构相同的超大神经网络确定的路径搜索空间中，确定待训练路径，包括：针对本轮训练为首轮训练的情况，从所述路径搜索空间中，随机确定多条待训练路径；针对本轮训练为非首轮训练的情况，基于前一轮训练确定的多条待训练路径分别对应的训练结果，从所述前一轮训练确定的多条待训练路径中，确定本轮训练中的父路径；对所述父路径进行变异和/或交叉处理，得到本轮训练对应的待训练路径。

这样，可以大量减少需要训练的路径的数量，在多轮训练的过程中逐渐将性能较差的路径过滤掉，具有更高的训练效率。

一种可能的实施方式中，所述基于所述待训练路径中的各个算子分别在多个所述超大神经网络中的第一算子内参、以及所述待训练路径分别在多个所述超大神经网络中的路径权重，确定所述待训练路径中各算子在所述待训练路径中的第二算子内参，包括：针对所述待训练路径中的各算子，利用所述待训练路径分别在多个所述超大神经网络中的路径权重，对该算子分别在多个所述超大神经网络中的第一算子内参进行加权求和，得到该算子在所述待训练路径中的第二算子内参。

这样，使得不同的路径能够以自己的方式利用第一算子内参，保证了同一算子在不同路径中的第二算子内参不同。

一种可能的实施方式中，所述利用所述第二算子内参，对多个所述超大神经网络进行本轮训练，包括：利用所述待训练路径中各个算子的第二算子内参对训练样本数据进行处理，得到所述训练样本数据的第一处理结果；基于所述第一处理结果、以及所述训练样本数据的标签信息，确定第一损失；基于所述第一损失，调整各个算子分别在多个所述超大神经网络中的第一算子内参。

这样，能够同步对多个超大神经网络进行训练，使得算子在不同超大神经网络中的第一算子内参保持区别，进而控制同一算子在不同路径中的第二算子内参。