[发明专利]超网络训练方法及装置、电子设备、存储介质

说明书

本公开是关于一种超网络训练方法及装置、电子设备、存储介质。一种超网络训练方法，包括：通过获取多路径神经子网络，对所述多路径神经子网络进行训练，以更新各子结构的权重参数；将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络；在超网络收敛时结束训练并得到目标超网络。这样，在单条路径表征能力有限的情况下，本实施例中利用多路径神经子网络训练超网络，有利于提升超网络的表征能力。

技术领域

本公开涉及深度学习技术领域，尤其涉及一种超网络训练方法及装置、电子设备、存储介质。

背景技术

目前，现有神经网络架构搜索(NAS)中，通常采用单路径神经子网络来实现，即从超网络中每一层仅采样一个子模块，并将采样的子模块顺序串联，可以组成一个单路径神经子网络；然后，从超网络中共享各层子模块的参数；之后，对该单路径神经子网络进行单步训练。在该单路径神经子网络训练结束后，将各子模块的参数再共享给超网络。这样，循环“采样-共享参数-单步训练-更新参数”步骤，直到超网络训练收敛。

上述神经网络架构搜索方案中，每次采样训练的单路径神经子网络中，为保证所采样子模块的公平性，每层中只能采样一个子结构，但是这样会限制神经网络的表征能力。

发明内容

本公开提供一种超网络训练方法及装置、电子设备、存储介质，以解决相关技术的不足。

根据本公开实施例的第一方面，提供一种超网络训练方法，所述方法包括：

基于预先构建的初始超网络获取多路径神经子网络；

对所述多路径神经子网络进行训练，以更新各子结构的权重参数；

将所述多路径神经子网络中各子结构的权重参数同步至所述初始超网络；

判断所述初始超网络是否收敛，若不收敛，则返回执行基于预先构建的初始超网络获取多路径神经子网络的步骤；若收敛则结束训练并得到目标超网络。

可选地，所述基于预先构建的初始超网络获取多路径神经子网络包括：

针对预先构建的超网络的各层，从所述各层中采样出至少一个子结构，并增加用于对所述至少一个子结构的输出结果进行相加的输出端，得到包含所述至少一个子结构和所述输出端的子结构单元；

按照所述各层的顺序串联每个子结构单元，得到初始的多路径神经子网络；

对所述初始超网络和初始的多路径神经子网络中相同子结构进行参数共享，获得最终的多路径神经子网络。

可选地，从所述各层中采样出至少一个子结构的步骤中，采用伯努利采样方法依次采样子结构，且所述各层中各子结构被采样到的概率均等。

可选地，所述对所述多路径神经子网络进行训练，包括：

获取训练集合中第一数量个训练样本；

将所述训练样本依次输入到所述多路径神经子网络，以训练所述多路径神经子网络，直至所述第一数量的训练样本全部使用。

可选地，所述方法还包括：

基于所述目标超网络对新获取的多个多路径神经子网络进行评估，得到评估结果；

根据所述评估结果确定出满足设定条件的多路径神经子网络，以将其应用到目标场景。

可选地，所述基于所述目标超网络对新获取的多个多路径神经子网络进行评估，得到评估结果包括：

基于所述目标超网络，获取多个多路径神经子网络；

将所述目标超网络中各子结构的权重参数共享至所述多路径神经子网络中对应的子结构；