[发明专利]用于训练超网络的方法、装置、设备以及存储介质

权利要求书

1.一种用于训练超网络的方法，包括：

根据预先建立的超网络的搜索空间，确定多个子网络集合，其中，所述子网络集合中的子网络之间满足正交关系；

基于所述多个子网络集合以及所述超网络，多次执行以下迭代操作：

从至少一个子网络集合中选取多个子网络；

对所述多个子网络以及所述超网络进行更新，从更新后的多个子网络提取的特征中确定出对比特征，从更新的超网络中确定出对比超网络；

基于所述多个子网络提取的特征以及所述对比特征，对所述对比超网络进行更新；

根据更新的对比超网络更新所述超网络。

2.根据权利要求1所述的方法，其中，所述对所述多个子网络以及所述超网络进行更新，从更新后的多个子网络提取的特征中确定出对比特征，从更新的超网络中确定出对比超网络，包括：

将首次选取的子网络作为第一目标子网络；

对所述第一目标子网络进行训练，将训练后的第一子网络提取的特征作为对比特征；

根据训练后的第一子网络更新所述超网络，将更新后的超网络作为对比超网络。

3.根据权利要求1所述的方法，其中，所述对所述第一目标子网络进行训练，将训练后的第一子网络提取的特征作为对比特征，包括：

利用反射传播算法对所述第一目标子网络进行训练；

确定训练后的第一目标子网络提取的特征，将所提取的特征作为所述对比特征。

4.根据权利要求3所述的方法，其中，所述根据训练后的第一子网络更新所述超网络，将更新后的超网络作为对比超网络，包括：

确定训练后的第一目标子网络的梯度；

根据所述梯度更新所述超网络，将更新后的超网络作为对比超网络。

5.根据权利要求1所述的方法，其中，所述基于所述多个子网络提取的特征以及所述对比特征，对所述对比超网络进行更新，包括：

利用所述对比超网络对非首次选取的子网络进行更新，对更新后的各子网络进行训练；

根据训练后的各子网络提取的特征、所述对比特征，对所述对比超网络进行更新。

6.根据权利要求5所述的方法，其中，所述根据训练后的各子网络提取的特征、所述对比特征，对所述对比超网络进行更新，包括：

对于每个子网络，确定该子网络提取的特征与所述对比特征之间的距离；

如果距离小于预设阈值，利用选取的子网络更新所述对比超网络的参数。

7.根据权利要求1所述的方法，其中，所述根据所述对比超网络更新所述超网络，包括：

响应于所述对比超网络的更新次数等于预设阈值，利用所述对比超网络更新所述超网络。

8.一种用于训练超网络的装置，包括：

确定单元，被配置成根据预先建立的超网络的搜索空间，确定多个子网络集合，其中，所述子网络集合中的子网络之间满足正交关系；

迭代单元，被配置成基于所述多个子网络集合以及所述超网络，多次通过以下模块执行迭代操作：

选取模块，被配置成从至少一个子网络集合中选取多个子网络；

对比模块，被配置成对所述多个子网络以及所述超网络进行更新，从更新后的多个子网络提取的特征中确定出对比特征，从更新的超网络中确定出对比超网络；

第一更新模块，被配置成基于所述多个子网络提取的特征以及所述对比特征，对所述对比超网络进行更新；

第二更新模块，被配置成根据更新的对比超网络更新所述超网络。

9.根据权利要求8所述的装置，其中，所述对比模块进一步被配置成：

将首次选取的子网络作为第一目标子网络；

对所述第一目标子网络进行训练，将训练后的第一子网络提取的特征作为对比特征；

根据训练后的第一子网络更新所述超网络，将更新后的超网络作为对比超网络。