[发明专利]一种深度学习模型训练方法、装置及相关设备

权利要求书

1.一种深度学习模型训练方法，其特征在于，所述深度学习模型包括多个层，每层包括至少一个参数，所述方法包括：

在所述深度学习模型的第一训练阶段中进行反向计算之后，对所述多个层中的第一层的第一参数调整包括：

确定所述第一参数的第一调整值；

确定所述第一调整值是否超过所述第一参数的调整上限；

在所述第一调整值超过所述第一参数的调整上限时，将所述第一调整值修正为第二调整值，所述第二调整值小于等于所述调整上限；

根据所述第二调整值对所述第一参数进行调整，其中所述第一层为所述多个层中的其中一层，所述第一参数为所述至少一个参数中的其中一个参数。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述第二调整值调整所述调整上限。

3.根据权利要求1或2所述的方法，其特征在于，在所述深度学习模型的第一训练阶段之前，所述深度学习模型还具有第二训练阶段，在所述第二训练阶段，所述方法还包括：

根据所述深度学习模型前向计算的结果，确定所述第一参数对应的损失值；

根据所述第一参数对应的损失值及所述深度学习模型对应的超参数确定第三调整值；

在对所述深度学习模型进行N次训练后，根据N次训练后得到的N个第三调整值确定所述调整上限。

4.根据权利要求3所述的方法，其特征在于，所述第一训练阶段的超参数的值大于所述第二阶段的超参数的值。

5.根据权利要求1或2所述的方法，其特征在于，所述调整上限为预设值。

6.根据权利要求5所述的方法，其特征在于，所述深度学习模型基于第一类型的芯片进行训练，所述方法还包括：

从云端数据库包括的多种类型的芯片分别对应的调整上限中，查找到所述第一类型的芯片对应的调整上限。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述将所述第一调整值修正为第二调整值包括：

对所述第一调整值乘以修正值得到所述第二调整值。

8.根据权利要求1至7任一项所述的方法，其特征在于，所述第一调整值根据所述深度学习模型在前向计算后得到的损失值和所述深度学习模型对应的超参数确定的；

所述方法还包括：

在所述第一训练阶段，对所述深度学习模型经过多次训练后，当所述第一调整值超过所述调整上限的次数占训练总次数的比例超过预设值时，生成告警信息。

9.一种深度学习模型训练装置，其特征在于，所述深度学习模型包括多个层，每层包括至少一个参数，所述装置包括：

确定模块，用于在所述深度学习模型的第一训练阶段中进行反向计算之后，确定所述第一参数的第一调整值，并确定所述第一调整值是否超过所述第一参数的调整上限；

修正模块，用于在所述第一调整值超过所述第一参数的调整上限时，将所述第一调整值修正为第二调整值，所述第二调整值小于等于所述调整上限；

参数调整模块，用于根据所述第二调整值对所述第一参数进行调整，其中所述第一层为所述多个层中的其中一层，所述第一参数为所述至少一个参数中的其中一个参数。

10.根据权利要求9所述的装置，其特征在于，所述装置还包括：

上限调整模块，用于根据所述第二调整值调整所述调整上限。

11.根据权利要求9或10所述的装置，其特征在于，在所述深度学习模型的第一训练阶段之前，所述深度学习模型还具有第二训练阶段，所述确定模块还用于：

在所述第二训练阶段，根据所述深度学习模型进行前向计算的结果，确定所述第一参数对应的损失值；

根据所述第一参数对应的损失值及所述深度学习模型对应的超参数确定第三调整值；

在对所述深度学习模型进行N次训练后，根据N次训练后得到的N个第三调整值确定所述调整上限。