[发明专利]生成较大神经网络

权利要求书

1.一种从较小神经网络生成较大神经网络的方法，所述方法包括：

获得指定原始神经网络的数据，所述原始神经网络被配置成从神经网络输入生成神经网络输出，所述原始神经网络具有包括多个原始神经网络单元的原始神经网络结构，每个原始神经网络单元具有各自的参数，并且每个所述原始神经网络单元的每个所述参数具有各自的原始值；

从所述原始神经网络生成较大神经网络，所述较大神经网络具有较大神经网络结构，所述较大神经网络结构包括：

(i)所述多个原始神经网络单元，以及

(ii)不在所述原始神经网络结构中的多个附加神经网络单元，每个附加神经网络单元具有各自的参数；

初始化所述原始神经网络单元和所述附加神经网络单元的所述参数的值，使得所述较大神经网络从与所述原始神经网络相同的神经网络输入生成相同的神经网络输出；以及

训练所述较大神经网络以从所初始化的值确定所述原始神经网络单元和所述附加神经网络单元的所述参数的训练值。

2.根据权利要求1所述的方法，还包括：

训练所述原始神经网络以确定所述原始神经网络的所述参数的所述原始值。

3.根据权利要求2所述的方法，其中，所述原始神经网络结构包括具有第一数量的原始单元的第一原始神经网络层，并且其中，生成所述较大神经网络包括：

将多个附加神经网络单元添加到所述第一原始神经网络层以生成较大神经网络层。

4.根据权利要求3所述的方法，其中，初始化所述原始神经网络单元和所述附加神经网络单元的所述参数的值使得所述较大神经网络从与所述原始神经网络相同的神经网络输入生成相同的神经网络输出包括：

将在所述较大神经网络层中的所述原始神经网络单元的所述参数的所述值初始化为所述参数的各自的原始值；以及

对于在所述较大神经网络层中的每个附加神经网络单元：

选择在所述原始神经网络层中的原始神经网络单元，以及

将所述附加神经网络单元的所述参数的所述值初始化为与所选择的原始神经网络单元的各自的原始值相同。

5.根据权利要求4所述的方法，其中，选择在所述较大神经网络层中的原始神经网络单元包括：

从所述原始神经网络层中的所述原始神经网络单元随机选择原始神经网络单元。

6.根据权利要求4所述的方法，其中：

在所述原始神经网络结构中，第二原始神经网络层被配置成接收由所述第一原始神经网络层生成的输出作为输入；

在所述较大神经网络结构中，所述第二原始神经网络层被配置成接收由所述较大神经网络层生成的输出作为输入；以及

初始化所述原始神经网络单元和所述附加神经网络单元的所述参数的值，使得所述较大神经网络从与所述原始神经网络相同的神经网络输入生成相同的神经网络输出包括：

初始化在所述第二原始神经网络层中的所述原始神经网络单元的所述参数的所述值，使得对于给定的神经网络输入，所述第二神经网络层在所述原始神经网络结构和所述较大神经网络结构两者中生成相同的输出。

7.根据任一前述权利要求所述的方法，其中，所述原始神经网络结构包括第三原始神经网络层，所述第三原始神经网络层被配置成接收第三原始层输入并且从所述第三层输入生成第三原始层输出，并且其中，生成所述较大神经网络包括：

用具有附加神经网络单元的第一附加神经网络层和具有附加神经网络单元的第二附加神经网络层替换所述第三原始神经网络层，其中：

所述第一附加神经网络层被配置成接收所述第三原始层输入并且从所述第三原始层输入生成第一附加层输出，以及

所述第二附加神经网络层被配置成接收所述第一附加层输出并且从所述第一附加层输出生成第二附加层输出。