[发明专利]神经网络参数初始化的方法和装置

权利要求书

1.一种神经网络参数初始化的方法，其特征在于，包括：

为所述神经网络的每一局部网络分别确定与之对应的特征训练集，其中，所述神经网络包括多个局部网络，所述多个局部网络中的每个局部网络覆盖所述神经网络的一部分；

对每一局部网络分别使用与之对应的特征训练集训练以得到所述局部网络的参数；

确定所述神经网络的初始化参数，其中，所述神经网络的初始化参数包括：所述多个局部网络的参数的全部或部分。

2.根据权利要求1所述的方法，其特征在于，所述确定所述神经网络的初始化参数包括：

所述神经网络的第一部分的初始化参数为第一局部网络集合中，最后一个训练完成的局部网络的参数的全部或部分，所述第一局部网络集合包括一个或多个训练完成的局部网络，所述一个或多个训练完成的局部网络覆盖所述神经网络的第一部分。

3.根据权利要求1或2所述的方法，其特征在于，所述为所述神经网络的每一局部网络分别确定与之对应的特征训练集包括：

为所述神经网络的每一局部网络分别确定与之对应的训练子集及特征训练集生成网络；

基于每一局部网络的特征训练集生成网络以及训练子集生成所述与之对应的特征训练集。

4.根据权利要求3所述的方法，其特征在于，所述训练子集包括：

预设训练集，或者所述预设训练集的一部分。

5.根据权利要求3或4所述的方法，其特征在于，所述局部网络的特征训练集生成网络包括后部网络的全部或部分，其中所述后部网络为所述局部网络与所述神经网络的输入之间的网络。

6.根据权利要求5所述的方法，其特征在于，所述局部网络的特征训练集生成网络的初始化参数包括：

覆盖所述局部网络的特征训练集生成网络的至少一个训练完成的局部网络中，最后一个训练完成的局部网络的参数的全部或部分；或者，

覆盖所述局部网络的特征训练集生成网络的至少一个训练完成的局部网络的参数的全部或部分经过预设计算得到的参数。

7.根据权利要求3-6中任一项所述的方法，其特征在于，所述局部网络的特征训练集包括：

数据和标签，其中，所述数据为所述局部网络的训练子集通过所述局部网络的特征训练集生成网络正向传播，输出的数据，所述标签为所述神经网络的标签。

8.根据权利要求1-7中任一项所述的方法，其特征在于，所述多个局部网络中的每个局部网络覆盖所述神经网络的一部分包括：

第一局部网络覆盖所述神经网络的第二部分；

第二局部网络覆盖所述神经网络的第三部分；

其中，所述第一局部网络和所述第二局部网络为所述多个局部网络中的两个局部网络，且所述第二部分与所述第三部分的部分或全部相同。

9.根据权利要求1-8中任一项所述的方法，其特征在于，所述对每一局部网络分别使用与之对应的特征训练集训练包括：

在所述神经网络的正向方向上，按照所述多个局部网络的前后顺序，从后往前依次训练所述多个局部网络。

10.根据权利要求1-9中任一项所述的方法，其特征在于，在对每一局部网络分别使用与之对应的特征训练集训练之前，所述方法还包括：

为所述多个局部网络中，不包括输出层的局部网络添加辅助输出层，所述辅助输出层用于支持所述局部网络的输出符合预设条件。

11.一种神经网络参数初始化的装置，其特征在于，包括：

处理单元，用于为所述神经网络的每一局部网络分别确定与之对应的特征训练集，其中，所述神经网络包括多个局部网络，所述多个局部网络中的每个局部网络覆盖所述神经网络的一部分；

训练单元，用于对每一局部网络分别使用与之对应的特征训练集训练以得到该局部网络的参数；

参数确定单元，用于确定所述神经网络的初始化参数，其中，所述神经网络的初始化参数包括：所述多个局部网络的参数的全部或部分。