[发明专利]神经网络的训练方法、装置及存储介质

说明书

本公开是关于一种神经网络的训练方法、装置及存储介质，该方法可以包括：对超网络进行训练，得到超网络的网络参数，超网络的每个网络层包括：并列的多个备选网络子结构；从超网络的每个网络层的多个备选网络子结构中，选择一个备选网络子结构作为目标网络子结构；基于各层所选的目标网络子结构，构成子网络；将从超网络继承的网络参数作为子网络的初始化参数，训练子网络得到子网络的网络参数。本公开中，将从超网络继承的网络参数作为子网络的初始化参数，并训练子网络，不用针对子网络从零开始训练，能减少训练神经网络的运算量，提高训练效率。

技术领域

本公开涉及神经网络技术领域，尤其涉及一种神经网络的训练方法、装置及存储介质。

背景技术

神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型，主要依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。其在数据处理，例如，数据分类、语音分析和图像识别等领域有着广泛的应用。在使用神经网络之前，需要对神经网络进行训练，而目前训练神经网络的方式，不仅运算量大，且效率也很低。

发明内容

本公开提供一种神经网络的训练方法、装置及存储介质。

根据本公开实施例的第一方面，提供一种神经网络的训练方法，包括：

对超网络进行训练，得到所述超网络的网络参数，其中，所述超网络的每个网络层包括：并列的多个备选网络子结构；

从所述超网络的每个网络层的多个备选网络子结构中，选择一个所述备选网络子结构作为目标网络子结构；

基于各层所选的所述目标网络子结构，构成子网络；

将从所述超网络继承的网络参数作为所述子网络的初始化参数，训练所述子网络得到所述子网络的网络参数。

可选的，所述超网络包括：N个网络层；每一个所述网络层包括：M个备选网络子结构，其中，N为不小于2的正整数，M为不小于2的正整数；

所述从所述超网络的每个网络层的多个备选网络子结构中，选择一个所述备选网络子结构作为目标网络子结构，包括：

选择所述超网络的第n个网络层的第m个备选网络子结构，作为构成所述子网络的第n个网络层的所述目标网络子结构，其中，n为小于或等于N的正整数，m为小于或等于M的正整数。

可选的，所述方法还包括：

在得到所述超网络的网络参数之后，对应存储各所述备选网络子结构的结构标识与各所述备选网络子结构的网络参数之间的映射关系。

可选的，所述将从所述超网络继承的网络参数作为所述子网络的初始化参数，训练所述子网络得到所述子网络的网络参数，包括：

基于所述子网络所包含的备选网络子结构的结构标识，查询所述映射关系得到对应的备选网络子结构的网络参数；

基于得到的所述备选网络子结构的网络参数，训练所述子网络得到所述子网络的网络参数。

可选的，所述从所述超网络的每个网络层的多个备选网络子结构中，选择一个所述备选网络子结构作为目标网络子结构，包括：

从所述超网络的每个网络层的多个备选网络子结构中，基于设定搜索算法选择一个所述备选网络子结构作为目标网络子结构；

所述设定搜索算法包括以下至少之一：随机搜索算法、贝叶斯搜索算法、进化学习算法、强化学习算法、进化和强化学习结合算法、以及基于梯度的算法。

可选的，所述方法还包括：

基于训练后的子网络，对输入数据进行数据处理；