[发明专利]一种深度学习模型的训练方法、系统、装置及存储介质

权利要求书

1.一种深度学习模型的训练方法，其特征在于，包括以下步骤：

获取神经网络中各层节点的联结权重；

基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值；

根据各个滤波器的所述正交性度量值对所述神经网络进行优化，得到子神经网络；

基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新；

当联结权重更新后的神经网络收敛时，输出所述神经网络。

2.根据权利要求1所述的一种深度学习模型的训练方法，其特征在于，所述获取神经网络中各层节点的联结权重这一步骤之前，还包括模型初始化步骤；

所述模型初始化步骤具体包括：

建立神经网络的输入层、隐藏层和输出层；

对所述神经网络中各层节点的联结权重进行初始赋值；

确定所述神经网络的激活函数和误差函数。

3.根据权利要求2所述的一种深度学习模型的训练方法，其特征在于，所述确定所述神经网络的激活函数这一步骤，其具体包括：

将sigmoid函数作为所述神经网络的激活函数；

所述sigmoid函数的公式为

4.根据权利要求1所述的一种深度学习模型的训练方法，其特征在于，所述基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值这一步骤，其具体包括：

获取所述联结权重的矩阵，并确定各个卷积层的归一化权重；

基于各个卷积层的所述归一化权重，确定卷积层内各个滤波器的正交性度量值。

5.根据权利要求1-4中任一项所述的一种深度学习模型的训练方法，其特征在于，所述根据各个滤波器的所述正交性度量值对所述神经网络进行优化这一步骤，其具体包括：

对各个滤波器的所述正交性度量值按照大小关系进行排序；

基于预设阈值对所述正交性度量值进行筛选；

根据筛选结果剔除掉所述神经网络中的部分滤波器，得到子神经网络。

6.根据权利要求5所述的一种深度学习模型的训练方法，其特征在于，所述基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新这一步骤，其具体包括：对所述子神经网络进行QR分解，得到每一层中的滤波器的零空间向量；

通过所述滤波器的零空间向量，更新所述联结权重。

7.一种深度学习模型的训练系统，其特征在于，包括：

获取模块，用于获取神经网络中各层节点的联结权重；

处理模块，用于基于所述联结权重确定所述神经网络的卷积层内各个滤波器的正交性度量值；

网络优化模块，用于根据各个滤波器的所述正交性度量值对所述神经网络进行优化，得到子神经网络；

权重更新模块，用于基于所述子神经网络，通过反向传播算法对原神经网络的所述联结权重进行更新；

输出模块，用于当联结权重更新后的神经网络收敛时，输出所述神经网络。

8.一种深度学习模型的训练装置，其特征在于，包括：

至少一个处理器；

至少一个存储器，用于存储至少一个程序；

当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如权利要求1-6中任一项所述的一种深度学习模型的训练方法。

9.一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于实现如权利要求1-6中任一项所述的一种深度学习模型的训练方法。