[发明专利]用于训练超网络的方法和装置

权利要求书

1.一种用于训练超网络的方法，包括：通过依次执行多次迭代操作获得训练完成的超网络；

所述迭代操作包括：

初始化递归神经网络的参数，并利用所述递归神经网络对当前的超网络进行采样以获得用于处理媒体内容识别任务数据的子网络；

响应于确定保存的反向传播的梯度值的数量未达到预设的数量，根据所述媒体内容识别任务构建用于训练的目标函数，并基于所述子网络对应的媒体内容识别任务的训练数据对所述子网络进行训练以获得训练后的子网络的性能信息，基于训练后的子网络对媒体内容的性能信息，计算所述目标函数的值，对所述子网络的性能信息进行反向传播以更新所述超网络的参数，并保存反向传播的梯度值，其中，所述性能信息为媒体内容识别的准确率；

响应于确定保存的所述梯度值的数量达到预设的数量，对保存的所述梯度值进行均一化处理，将均一化处理的结果作为当前迭代操作中反向传播的梯度值，以更新所述超网络的参数。

2.根据权利要求1所述的方法，其中，所述迭代操作还包括：

响应于确定所述超网络满足预设的收敛条件，停止更新所述超网络的参数；

其中，所述预设的收敛条件包括至少一项：

所述超网络的参数更新率低于预设的阈值，

利用所述递归神经网络对当前的超网络进行采样以获得的子网络的性能信息达到预设的性能约束条件，以及

已执行的迭代操作的次数达到预设的次数阈值。

3.根据权利要求1所述的方法，其中，所述方法还包括：

基于所述训练完成的超网络对用于从所述超网络中采样出子网络的递归神经网络进行训练。

4.根据权利要求3所述的方法，其中，所述基于所述训练完成的超网络对用于从所述超网络中采样出子网络的递归神经网络进行训练，包括：

基于当前的递归神经网络的参数，从训练完成的超网络中采样出子网络；

对从训练完成的超网络中采样出的子网络进行训练，以获取从训练完成的超网络中采样出的子网络的性能信息，基于所述从训练完成超网络中采样出的子网络的性能信息生成反馈信息，将所述反馈信息反馈至所述递归神经网络，以基于所述反馈信息更新所述递归神经网络的参数。

5.根据权利要求1-4任一项所述的方法，其中，所述方法还包括：

获取待处理的任务数据；

基于所述待处理的任务数据，采用训练完成的递归神经网络对所述训练完成的超网络进行采样，得出用于处理所述待处理的任务数据的子网络；

利用用于处理媒体内容识别任务数据的子网络处理所述待处理的任务数据，得到任务处理结果。

6.一种用于训练超网络的装置，包括：

第一训练单元，被配置为通过依次执行多次迭代操作获得训练完成的超网络；

所述迭代操作包括：

初始化递归神经网络的参数，并利用所述递归神经网络对当前的超网络进行采样以获得用于处理媒体内容识别任务数据的子网络；

响应于确定保存的反向传播的梯度值的数量未达到预设的数量，根据所述媒体内容识别任务构建用于训练的目标函数，并基于所述子网络对应的媒体内容识别任务的训练数据对所述子网络进行训练以获得训练后的子网络的性能信息，基于训练后的子网络对媒体内容的性能信息，计算所述目标函数的值，对所述子网络的性能信息进行反向传播以更新所述超网络的参数，并保存反向传播的梯度值，其中，所述性能信息为媒体内容识别的准确率；

响应于确定保存的所述梯度值的数量达到预设的数量，对保存的所述梯度值进行均一化处理，将均一化处理的结果作为当前迭代操作中反向传播的梯度值，以更新所述超网络的参数。

7.根据权利要求6所述的装置，其中，所述第一训练单元执行的迭代操作还包括：

响应于确定所述超网络满足预设的收敛条件，停止更新所述超网络的参数；

其中，所述预设的收敛条件包括至少一项：

所述超网络的参数更新率低于预设的阈值，

利用所述递归神经网络对当前的超网络进行采样以获得的子网络的性能信息达到预设的性能约束条件，以及

已执行的迭代操作的次数达到预设的次数阈值。