[发明专利]用于训练神经网络的方法及神经网络训练系统

权利要求书

1.一种用于训练神经网络的方法，包括：

提供所述神经网络的至少一个可连续微分的模型，所述至少一个可连续微分的模型专用于所述神经网络的硬件；

使用所述至少一个可连续微分的模型以迭代方式训练所述神经网络，以为所述神经网络提供至少一个输出，每一次迭代均使用前一次迭代的至少一个输出以及所述至少一个可连续微分的模型中的当前可连续微分的模型。

2.根据权利要求1所述的方法，其中所述至少一个可连续微分的模型中的第一个可连续微分的模型是软件模型。

3.根据权利要求1所述的方法，其中所述神经网络的每一个当前可连续微分的模型比前一个可连续微分的模型提供对所述神经网络的所述硬件的更接近的近似。

4.根据权利要求1所述的方法，其中所述以迭代方式训练的步骤还包括：

使用所述至少一个输出来执行反向传播，以获得至少一个权重，所述至少一个权重用于下一次迭代。

5.根据权利要求4所述的方法，其中所述以迭代方式训练的步骤还包括：

如果所述至少一个权重相对于至少一个先前权重不大于至少一个阈值，则结束。

6.根据权利要求4所述的方法，其中所述可连续微分的模型是基于所述至少一个权重及所述以迭代方式训练的步骤的至少一个输入。

7.根据权利要求6所述的方法，其中所述以迭代方式训练的步骤的激活函数是所述当前可连续微分的模型、所述至少一个输入、所述当前可连续微分的模型的真实性参数及偏项的函数。

8.根据权利要求7所述的方法，其中所述以迭代方式训练的步骤还包括：

使用所述当前可连续微分的模型来确定所述偏项。

9.根据权利要求7所述的方法，其中所述以迭代方式训练的步骤还包括：

使用与所述当前可连续微分的模型不同的至少一个其他可连续微分的模型来确定所述偏项。

10.根据权利要求6所述的方法，其中所述神经网络利用至少一个离散的权重。

11.根据权利要求10所述的方法，其中所述至少一个可连续微分的模型中的每一者gⁿ被表示为：

其中ω是权重，Δ是所述至少一个离散的权重的离散化步阶，ω_sc是步阶之间的过渡尺度，ε_n是使所述至少一个可连续微分的模型中的所述每一者通过原点的偏移量，且σ是经拉伸的S型函数。

12.根据权利要求9所述的方法，其中所述经拉伸的S型函数被表示为σ＝1/(1+e^-ω/ωsc)。

13.根据权利要求1所述的方法，其中所述以迭代方式训练的步骤还包括：

在每一次迭代后，使用所述至少一个可连续微分的模型中的最末可连续微分的模型来验证至少一个权重。

14.根据权利要求13所述的方法，其中所述验证的步骤包括应用过程噪声模型。

15.根据权利要求1所述的方法，其中所述以迭代方式训练的步骤还包括：对至少一个激活及至少一个权重应用所述当前可连续微分的模型。

16.根据权利要求1所述的方法，其中所述以迭代方式训练的步骤对于所述神经网络而言是在芯片外进行的，所述方法还包括：

将至少一个最终输出提供到所述神经网络。