[发明专利]用于训练超网络的方法、装置、设备以及存储介质

说明书

本申请公开了用于训练超网络的方法、装置、设备以及存储介质，涉及人工智能技术领域，更进一步涉及深度学习技术领域。具体实现方案为：根据预先建立的超网络的搜索空间，确定多个子网络集合；多次执行以下迭代操作：从子网络集合中选取多个子网络；对子网络以及超网络进行更新，从更新的子网络提取的特征中确定出对比特征，从更新的超网络中确定出对比超网络；基于提取的特征以及对比特征，对对比超网络进行更新；根据更新的对比超网络更新超网络。本实现方式训练得到的超网络精度更高，从超网络中采样出的子网络与独立训练的网络的性能一致。由此，在将本实现方式的超网络应用到图像处理领域时，基于NAS可以快速地搜索出性能优越的子网络。

技术领域

本申请涉及计算机技术领域，具体涉及人工智能技术领域，进一步涉及深度学习技术领域，尤其涉及用于训练超网络的方法、装置、设备以及存储介质。

背景技术

深度神经网络在很多领域取得了重要的成果。深度神经网络模型的结构对其性能具有直接的影响。传统的神经网络模型的结构是专家根据经验设计的，需要丰富的专家知识，网络结构的设计成本较高。

NAS(Neural Architecture Search，网络结构自动搜索)是用算法代替繁琐的人工操作，自动搜索出最佳的神经网络架构。目前的一种方法中，通过预先构建包含所有可能的模型结构的超网络，对超网络进行训练。然后在实际深度学习任务中，从超网络中通过NAS搜索出合适的子网络作为执行该深度学习任务的神经网络模型。

然而，由于超网络中的所有网络结构是共存的，训练超网络过程中存在着互斥的问题。超网络训练过程为了兼顾所有的网络结构性能都较优，会导致网络性结构的性能都与独立训练的网络的性能有较大的差距。

发明内容

提供了一种用于训练超网络的方法、装置、设备以及存储介质。

根据第一方面，提供了一种用于训练超网络的方法，包括：根据预先建立的超网络的搜索空间，确定多个子网络集合，其中，上述子网络集合中的子网络之间满足正交关系；基于上述多个子网络集合以及上述超网络，多次执行以下迭代操作：从至少一个子网络集合中选取多个子网络；对上述多个子网络以及上述超网络进行更新，从更新后的多个子网络提取的特征中确定出对比特征，从更新的超网络中确定出对比超网络；基于上述多个子网络提取的特征以及上述对比特征，对上述对比超网络进行更新；根据更新的对比超网络更新上述超网络。

根据第二方面，提供了一种用于训练超网络的装置，包括：确定单元，被配置成根据预先建立的超网络的搜索空间，确定多个子网络集合，其中，上述子网络集合中的子网络之间满足正交关系；迭代单元，被配置成基于上述多个子网络集合以及上述超网络，多次通过以下模块执行迭代操作：选取模块，被配置成从至少一个子网络集合中选取多个子网络；对比模块，被配置成对上述多个子网络以及上述超网络进行更新，从更新后的多个子网络提取的特征中确定出对比特征，从更新的超网络中确定出对比超网络；第一更新模块，被配置成基于上述多个子网络提取的特征以及上述对比特征，对上述对比超网络进行更新；第二更新模块，被配置成根据更新的对比超网络更新上述超网络。

根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，所述指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面所描述的方法。

根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，上述计算机指令用于使计算机执行如第一方面所描述的方法。

根据本申请的技术训练得到的超网络精度更高，从训练得到的超网络中采样出的子网络与独立训练相同结构的网络的性能一致。由此，在将本实现方式训练得到的超网络应用到图像处理领域时，基于超网络自动搜索模型结构可以快速地搜索出性能优越的子网络。