[发明专利]训练神经网络模型的方法、系统和存储介质

说明书

训练神经网络模型的方法、系统和存储介质，所述方法包括：获取训练数据；构造第一旁路分支；构造第二旁路分支；计算预测概率分布和第一旁路分支预测概率分布、第二旁路分支预测概率分布；计算预测概率分布与实际分布的损失、第一旁路分支预测概率分布与实际分布的损失和第二旁路分支预测概率分布与实际分布的损失；计算预测概率分布、第一旁路分支预测概率分布和第二旁路分支预测概率分布两两间的散度损失；对神经网络模型的参数进行迭代优化。本发明中所构造的旁路分支的隐层与神经网络模型的隐层一一对应，且引入散度损失作为整体模型参数优化的依据之一，从而使得多个分支的优化目标一致，提升了神经网络模型的性能。

技术领域

本发明涉及人工智能技术领域，具体涉及训练神经网络模型的方法、系统和存储介质。

背景技术

传统的训练神经网络模型的方法通常是在模型的输出层施加监督信号，通过损失函数来度量模型输出与真实值的差异，并且通过梯度下降法来更新模型参数，以使得网络输出能够符合真实值，从而完成模型的训练过程。但是由于网络模型的设计可能存在不合理之处，从而阻止了梯度流在网络中的流动，造成了神经网络模型的训练过程中存在梯度消失或者参数冗余等问题。为了解决这一问题，通常的做法是在网络的中间隐层引入旁路分支，直接连接一全连接层，并在全连接层上施加监督信号直接对中间隐层进行监督。

然而神经网络的特征表示能力是分层级的，一般地，神经网络的高层具有抽取细节信息的能力，层级越高，特征表示能力越强，特征也越抽象，特征的语义信息也更加丰富。由于神经网络的这种特性，直接在中间隐层引入全连接层并施加监督信号将会破坏神经网络的分层表示能力，从而在一定程度上破坏神经网络模型的训练过程，使得多个分支的优化目标不一致，导致模型的性能，如识别能力或者分类能力得不到有效提升。

发明内容

本申请提供一种训练神经网络模型的方法、系统和存储介质，能够在使用旁路分支训练神经网络模型时，使得多个分支的优化目标一致，从而更好地提升模型的性能。

根据第一方面，一种实施例中提供一种训练神经网络模型的方法，包括：

获取训练数据；

以神经网络模型的其中一隐层为第一旁路分支输入层构造第一旁路分支，所述第一旁路分支的输入数据为所述第一旁路分支输入层的输出数据，所述第一旁路分支的隐层与所述神经网络模型中第一旁路分支输入层和全连接层之间的隐层一一对应，所述第一旁路分支的全连接层为所述神经网络模型的全连接层；

以所述神经网络模型的其中另一隐层为第二旁路分支输入层构造第二旁路分支，所述第二旁路分支的输入数据为所述第二旁路分支输入层的输出数据，所述第二旁路分支的隐层与所述神经网络模型中第二旁路分支输入层和全连接层之间的隐层一一对应，所述第二旁路分支的全连接层为所述神经网络模型的全连接层；

通过所述神经网络模型对所述训练数据的计算，得到所述训练数据的预测概率分布，以及所述第一旁路分支输入层和所述第二旁路分支输入层的输出数据；

通过所述第一旁路分支对所述第一旁路分支输入层的输出数据的计算，得到所述训练数据的第一旁路分支预测概率分布；通过所述第二旁路分支对所述第二旁路分支输入层的输出数据的计算，得到所述训练数据的第二旁路分支预测概率分布；

根据第一损失函数，分别计算所述预测概率分布与实际分布的损失、所述第一旁路分支预测概率分布与实际分布的损失以及所述第二旁路分支预测概率分布与实际分布的损失；

计算所述预测概率分布、所述第一旁路分支预测概率分布和所述第二旁路分支预测概率分布两两间的散度损失；