[发明专利]一种训练神经网络的方法及系统

权利要求书

1.一种训练神经网络的方法，包括：

将训练数据输入N层神经网络，第K层神经网络输出第一概率分布，第N层神经网络输出第二概率分布；其中，N大于K，N和K为大于0的整数，所述训练数据为图像数据，所述N层神经网络为分类神经网络，所述第一概率分布和所述第二概率分布包含所述图像数据属于各个类别的概率；

根据所述第一概率分布与所述第二概率分布，确定第一反馈信号；

基于所述第一概率分布与所述训练数据的标签确定第二反馈信号；

基于所述第二概率分布与所述训练数据的标签确定第三反馈信号；

根据所述第一反馈信号、所述第二反馈信号和所述第三反馈信号调节1~K层神经网络的参数，使得所述1~K层神经网络学习所述第N层神经网络输出的第二概率分布，得到训练好的K层神经网络。

2.如权利要求1所述的方法，所述根据所述第一概率分布与所述第二概率分布，确定第一反馈信号包括：

基于所述第一概率分布和所述第二概率分布确定差异函数；所述差异函数用于衡量两个概率分布的差异情况；

基于所述差异函数计算差异幅度，将所述差异幅度确定为所述第一反馈信号；其中，所述差异幅度用于表示差异函数的差异程度。

3.如权利要求2所述的方法，所述差异幅度为所述差异函数关于所述K层神经网络的所述参数的梯度。

4.如权利要求2所述的方法，所述差异函数为KL距离函数或JS距离函数。

5.如权利要求1所述的方法，所述N为大于10的整数，所述K为大于等于2、小于等于5的整数。

6.如权利要求1所述的方法，所述基于所述第一概率分布与所述训练数据的标签确定第二反馈信号包括：

基于所述第一概率分布和所述标签确定第一损失函数；

将所述第一损失函数关于所述K层神经网络的所述参数的梯度确定为所述第二反馈信号。

7.如权利要求1所述的方法，所述基于所述第二概率分布与所述训练数据的标签确定第三反馈信号包括：

基于所述第二概率分布和所述标签确定第二损失函数；

将所述第二损失函数关于所述N层神经网络的所述参数的梯度确定为所述第三反馈信号。

8.如权利要求1所述的方法，所述训练好的K层神经网络用于预警数据的预测。

9.一种基于神经网络进行预测的方法，包括：

采用如权利要求1所述的训练好的K层神经网络对目标数据进行预测，得到目标数据的目标预测结果，所述目标数据为待分类图像，所述训练好的K层神经网络为分类的神经网络，所述目标预测结果为所述待分类图像的类别预测结果。

10.一种训练神经网络的系统，包括：

概率分布确定模块，用于将训练数据输入N层神经网络，第K层神经网络输出第一概率分布，第N层神经网络输出第二概率分布；其中，N大于K，N和K为大于0的整数，所述训练数据为图像数据，所述N层神经网络为分类神经网络，所述第一概率分布和所述第二概率分布包含所述图像数据属于各个类别的概率；

反馈信号确定模块，用于根据所述第一概率分布与所述第二概率分布，确定第一反馈信号；

参数调节模块，用于根据所述第一反馈信号、第二反馈信号和第三反馈信号调节1~K层神经网络的参数，使得所述1~K层神经网络学习所述第N层神经网络输出的第二概率分布，得到训练好的K层神经网络；其中，所述第二反馈信号基于所述第一概率分布与所述训练数据的标签确定，所述第三反馈信号基于所述第二概率分布与所述训练数据的标签确定。

11.如权利要求10所述的系统，所述反馈信号确定模块用于：

基于所述第一概率分布和所述第二概率分布确定差异函数；所述差异函数用于衡量两个概率分布的差异情况；

基于所述差异函数计算差异幅度，将所述差异幅度确定为所述第一反馈信号；其中，所述差异幅度用于表示差异函数的差异程度。