[发明专利]一种深度学习模型的训练方法、系统、装置及存储介质

说明书

本发明公开了一种深度学习模型的训练方法、系统、装置及存储介质。该方法通过获取神经网络中各层节点的联结权重；基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值；根据各个滤波器的所述正交性度量值对所述神经网络进行优化，得到子神经网络；基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新；当联结权重更新后的神经网络收敛时输出所述神经网络。通过使用本发明中的方法能够在训练模型的过程中根据滤波器的正交性调整训练网络，有效解决了模型的过拟合问题，提升了模型的训练性能和精确度。本发明可广泛应用于人工智能技术领域内。

技术领域

本发明涉及人工智能技术领域，尤其是一种深度学习模型的训练方法、系统、装置及存储介质。

背景技术

深度学习解决了许多具有挑战的问题，其成果已经广泛地应用于计算机视觉、语音识别、自然语言处理等领域。基于深度学习图像识别、视频处理、语音识别等技术在边缘计算系统的端设备上有巨大的应用前景和需求。然而传统的深度学习模型通常包含大量的参数冗余，容易遇到过拟合问题，在训练过程中难以保证得到最优的结果。目前，现有技术中还缺少一种良好的训练机制，以用于解决以上问题。

发明内容

本发明的目的在于至少一定程度上解决现有技术中存在的技术问题之一。

为此，本发明实施例的一个目的在于提供一种深度学习模型的训练方法，该方法能够在训练模型的过程中根据滤波器的正交性调整训练网络，有效解决了模型的过拟合问题，提升了模型的训练性能和精确度。

本发明实施例的另一个目的在于提供一种深度学习模型的训练系统。

为了达到上述技术目的，本发明实施例所采取的技术方案包括：

第一方面，本发明实施例提供了一种深度学习模型的训练方法，包括以下步骤：

获取神经网络中各层节点的联结权重；

基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值；

根据各个滤波器的所述正交性度量值对所述神经网络进行优化，得到子神经网络；

基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新；

当联结权重更新后的神经网络收敛时，输出所述神经网络。

另外，根据本发明上述实施例的深度学习模型的训练方法，还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述获取神经网络中各层节点的联结权重这一步骤之前，还包括模型初始化步骤；

所述模型初始化步骤具体包括：

建立神经网络的输入层、隐藏层和输出层；

对所述神经网络中各层节点的联结权重进行初始赋值；

确定所述神经网络的激活函数和误差函数。

进一步地，在本发明的一个实施例中，所述确定所述神经网络的激活函数这一步骤，其具体包括：

将sigmoid函数作为所述神经网络的激活函数；

所述sigmoid函数的公式为sigmoid(x)＝1/(1+e^(-x))。

进一步地，在本发明的一个实施例中，所述基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值这一步骤，其具体包括：

获取所述联结权重的矩阵，并确定各个卷积层的归一化权重；

基于各个卷积层的所述归一化权重，确定卷积层内各个滤波器的正交性度量值。