[发明专利]用于自动产生人工神经网络的方法和设备

权利要求书

1.一种用于自动产生人工神经网络（60）的方法，所述人工神经网络（60）包括模块和连接，所述连接将所述模块链接，

其中逐个模块和/或连接被添加至当前的初始网络（60），

其中从可预先给定的多个可能的可添加的模块和连接中随机地选出要添加的模块和/或连接，

并且其中分别通过将要添加的模块和/或连接添加至所述初始网络来产生所述当前的初始网络（60）的多个可能的扩展（61），

并且其中接着选出来自所述多个可能的扩展（61）的所述扩展（61）中的一个，以便在下一次遍历所述方法中用作当前的初始网络（60）。

2.根据权利要求1所述的方法，其中，在添加相应的模块和/或连接时，表征相应的要添加的模块和/或连接的可预先给定的参数（p）被选择成使得：针对每个可能的输入变量（x），添加了所述相应的要添加的模块和/或连接的所述初始网络（60）分别在添加所述相应的要添加的模块和/或连接之前和之后提供不改变的输出变量（y）。

3.根据上述权利要求中任一项所述的方法，其中，在首次添加模块和/或连接之前，利用初始训练数据组来训练如下那个当前的初始网络（60）：所述当前的初始网络（60）用作首次添加模块和/或连接的起点。

4.根据上述权利要求中任一项所述的方法，其中，接着在为了在下一次遍历所述方法中用作当前的初始网络（60）而选出来自所述多个可能的扩展的所述扩展中的所述一个之前，分别利用训练数据组来训练所述当前的初始网络（60）的所述可能的扩展（61）。

5.根据权利要求4所述的方法，其中，分别利用梯度下降方法来训练所述初始网络（60）的所述扩展，其中随着所执行的训练期的数目的增加而降低地来选择表征所述梯度下降方法的学习率的参数（η）。

6.根据权利要求5所述的方法，其中，表征所述学习率的所述参数（η）的降低的变化过程借助三角函数来表征。

7.根据上述权利要求中任一项所述的方法，其中，所述可预先给定的多个可能的模块和/或连接包括归一化模块和/或跳跃连接（英语：skip connection）和/或包含非线性函数的模块，其中所述非线性函数针对表征其特性的参数（p）的至少一个值是幂等的。

8.根据权利要求7所述的方法，其中，所述可预先给定的多个可能的模块和/或连接包含所述归一化模块和所述跳跃连接和所述包含非线性函数的模块和包含线性函数的模块，并且包含通过添加单元和/或通道来拓宽现有的线性层的模块，而且包含通过复制线性层来拓宽所述线性层的模块。

9.一种计算机程序（210），所述计算机程序（210）配置为，实施根据权利要求1至8中任一项所述的方法。

10.一种机器可读的存储介质（200），在所述机器可读的存储介质（200）上存储有根据权利要求9所述的计算机程序。

11.一种系统（140），所述系统（140）配置为，实施根据权利要求1至8中任一项所述的方法。