[发明专利]训练神经网络模型的方法、系统和存储介质

权利要求书

1.一种训练神经网络模型的方法，其特征在于包括：

获取训练数据；

以神经网络模型的其中一隐层为第一旁路分支输入层构造第一旁路分支，所述第一旁路分支的输入数据为所述第一旁路分支输入层的输出数据，所述第一旁路分支的隐层与所述神经网络模型中第一旁路分支输入层和全连接层之间的隐层一一对应，所述第一旁路分支的全连接层为所述神经网络模型的全连接层；

以所述神经网络模型的其中另一隐层为第二旁路分支输入层构造第二旁路分支，所述第二旁路分支的输入数据为所述第二旁路分支输入层的输出数据，所述第二旁路分支的隐层与所述神经网络模型中第二旁路分支输入层和全连接层之间的隐层一一对应，所述第二旁路分支的全连接层为所述神经网络模型的全连接层；

通过所述神经网络模型对所述训练数据的计算，得到所述训练数据的预测概率分布，以及所述第一旁路分支输入层和所述第二旁路分支输入层的输出数据；

通过所述第一旁路分支对所述第一旁路分支输入层的输出数据的计算，得到所述训练数据的第一旁路分支预测概率分布；通过所述第二旁路分支对所述第二旁路分支输入层的输出数据的计算，得到所述训练数据的第二旁路分支预测概率分布；

根据第一损失函数，分别计算所述预测概率分布与实际分布的损失、所述第一旁路分支预测概率分布与实际分布的损失以及所述第二旁路分支预测概率分布与实际分布的损失；

计算所述预测概率分布、所述第一旁路分支预测概率分布和所述第二旁路分支预测概率分布两两间的散度损失；

根据所述预测概率分布与实际分布的损失、所述第一旁路分支预测概率分布与实际分布的损失和所述第二旁路分支预测概率分布与实际分布的损失，以及所述预测概率分布、所述第一旁路分支预测概率分布和所述第二旁路分支预测概率分布两两间的散度损失，对所述神经网络模型、所述第一旁路分支和所述第二旁路分支的参数进行迭代优化。

2.如权利要求1所述的方法，其特征在于，所述第一旁路分支和第二旁路分支的参数量和深度均小于所述神经网络模型的参数量和深度。

3.如权利要求1所述的方法，其特征在于，所述第一损失函数为交叉熵损失函数。

4.如权利要求1所述的方法，其特征在于，所述散度损失为JS散度损失。

5.如权利要求1所述的方法，其特征在于，所述根据所述预测概率分布与实际分布的损失、所述第一旁路分支预测概率分布与实际分布的损失和所述第二旁路分支预测概率分布与实际分布的损失，以及所述预测概率分布、所述第一旁路分支预测概率分布和所述第二旁路分支预测概率分布两两间的散度损失，对所述神经网络模型、所述第一旁路分支和所述第二旁路分支的参数进行迭代优化包括：

计算所述预测概率分布与实际分布的损失、所述第一旁路分支预测概率分布与实际分布的损失和所述第二旁路分支预测概率分布与实际分布的损失的平均值，以及所述预测概率分布、所述第一旁路分支预测概率分布和所述第二旁路分支预测概率分布两两间的散度损失的平均值，将这两个平均值相加作为总体损失；

根据所述总体损失对所述神经网络模型、所述第一旁路分支和所述第二旁路分支的参数进行迭代优化。

6.如权利要求5所述的方法，其特征在于，所述根据所述总体损失对所述神经网络模型、所述第一旁路分支和所述第二旁路分支的参数进行迭代优化包括：根据所述总体损失，使用梯度下降法对所述神经网络模型、所述第一旁路分支和所述第二旁路分支的参数进行迭代优化。