[发明专利]超参数神经网络集成

权利要求书

1.一种训练包括K个神经网络的集成以执行机器学习任务的方法，其中，K是大于1的整数，

其中，所述K个神经网络中的每一个包括具有相应参数的多个神经网络层，

其中，所述多个神经网络层包括第一神经网络层，对于所述K个神经网络中的每一个，所述第一神经网络层具有：

(i)在所述集成中的所有K个神经网络之间共享的共享参数，

(ii)特定于所述神经网络的特定参数，以及

(iii)包括第一嵌入参数的嵌入参数，所述第一嵌入参数将当前超参数映射到用于所述共享参数的修改器，

其中，所述方法包括：

针对所述K个神经网络中的每一个维持相应的超参数分布参数集，所述相应的超参数分布参数集定义用于所述神经网络的训练的超参数上的分布；以及

通过重复地执行以下操作来训练所述K个神经网络：

对于所述K个神经网络中的每一个，从由用于所述神经网络的所述相应的超参数分布参数集定义的所述分布中采样超参数；

获得多个训练示例；

对于所述K个神经网络中的每一个，根据针对所述神经网络采样的超参数，在所述多个训练示例上训练所述神经网络，以确定对所述第一神经网络层的至少所述共享参数、所述特定参数和所述嵌入参数的更新；以及

将针对所述K个神经网络中的每一个确定的更新应用于所述共享参数。

2.根据权利要求1所述的方法，其中，所述嵌入参数在所述集成中的神经网络之间共享。

3.根据权利要求1或2中的任一项所述的方法，所述操作进一步包括：

对于所述K个神经网络中的每一个，将所述更新应用于所述神经网络的所述第一神经网络层的所述特定参数。

4.根据权利要求1-3中的任一项所述的方法，其中，在所述训练示例上训练所述神经网络中的每一个包括训练所述神经网络中的每一个以最小化损失函数，所述损失函数针对每个神经网络测量由所述神经网络针对给定训练示例生成的网络输出与针对所述给定训练示例的目标输出之间的损失。

5.根据权利要求1-3中的任一项所述的方法，其中，在所述训练示例上训练所述神经网络中的每一个包括训练所述神经网络中的每一个以最小化损失函数，所述损失函数测量从由所述K个神经网络针对给定训练示例生成的网络输出生成的最终输出与针对所述给定训练示例的目标输出之间的损失。

6.根据权利要求1-5中的任一项所述的方法，其中，对于所述K个神经网络中的每一个，根据所采样的超参数在所述多个训练示例上训练所述神经网络包括将所述嵌入参数应用于所述采样的超参数以生成用于所述共享参数的所述修改器。

7.根据权利要求1-6中的任一项所述的方法，所述操作进一步包括：

获得多个验证示例；以及

基于所述验证示例上的所述K个神经网络的性能来更新所述相应的超参数分布参数集。

8.根据权利要求1-7中的任一项所述的方法，其中，所述特定参数包括修改所述共享参数的第一特定参数和定义用于所述第一神经网络层的特定偏置向量的第二特定参数。

9.根据权利要求8所述的方法，其中，所述嵌入参数进一步包括第二嵌入参数，所述第二嵌入参数将当前超参数映射到用于所述特定偏置向量的修改器。