[发明专利]具有学习教练的异步代理以及在不降低性能的情况下在结构上修改深度神经网络

权利要求书

1.一种用于改善深度神经网络的方法，包括：

用训练数据将基础深度神经网络训练到期望的性能标准，其中：

所述基础深度神经网络包括输入层、输出层以及位于所述输入层和所述输出层之间的第一隐藏层；

所述第一隐藏层包括第一节点；以及

所述第一节点包括第一入弧和第一出弧；

在结构上改变所述基础深度神经网络以创建更新的深度神经网络，其中相对于所述基础深度神经网络，所述更新的深度神经网络在所述训练数据上未产生性能下降；以及

随后训练所述更新的深度神经网络。

2.根据权利要求1所述的方法，其中在结构上改变所述基础网络包括：在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述第一节点添加新的入弧。

3.根据权利要求2所述的方法，其中在随后训练所述更新的深度神经网络之前，将所述新的入弧的权重初始设置为零。

4.根据权利要求1所述的方法，其中在结构上改变所述基础网络包括：在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述第一节点添加新的出弧。

5.根据权利要求2所述的方法，其中在随后训练所述更新的深度神经网络之前，将所述新的出弧的权重初始设置为零。

6.根据权利要求1所述的方法，其中在结构上改变所述基础网络包括：在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述第一隐藏层添加第二节点。

7.根据权利要求6所述的方法，其中：

所述第二节点具有至少一个入弧和至少一个出弧；以及

在随后训练所述更新的深度神经网络之前，将所述第二节点的所述至少一个出弧中的每一个的权重初始设置为零。

8.根据权利要求6所述的方法，其中所述第二节点的激活并非由所述基础深度神经网络中的其它节点确定。

9.根据权利要求6所述的方法，其中所述第二节点具有针对到所述第二节点的输入数据值的每个向量的指定目标值。

10.根据权利要求1所述的方法，其中在结构上改变所述基础网络包括：在相对于所述基础神经网络未降低所述更新的神经网络的性能的情况下，向所述基础神经网络添加第二隐藏层，其中所述第二隐藏层位于所述输入层和所述输出层之间并且不同于所述第一隐藏层。

11.根据权利要求10所述的方法，其中：

所述第二隐藏层位于所述第一隐藏层和所述输出层之间；

所述第二隐藏层包括多个节点；

所述第二隐藏层的所述多个节点包括第一组一个或多个节点和第二组一个或多个节点；

所述第二隐藏层中的所述第二组一个或多个节点中的节点的数量等于所述第一隐藏层中的节点的数量，使得所述第二层中的所述第二组一个或多个节点中的每个节点在所述第一隐藏层中都具有对应节点；

所述第二隐藏层中的所述第一组一个或多个节点中的每个节点包括入弧和出弧；

所述第二隐藏层中的所述第二组一个或多个节点中的每个节点包括与所述第一隐藏层中的其对应节点相同数量的入弧和出弧，从而使得所述层中的所述第二组一个或多个节点中的每个节点具有与所述第一隐藏层中其对应节点相同数量的入弧和出弧；

在随后训练所述更新的深度神经网络之前，将所述第二隐藏层的所述第一组节点中的所述一个或多个节点的每个出弧的权重初始设置为零；以及

将所述第二隐藏层的所述第二组节点中的所述一个或多个节点的每个入弧的权重初始设置为值一。