[发明专利]一种模型训练方法、装置、设备及存储介质

权利要求书

1.一种模型训练方法，其特征在于，所述方法包括：

基于优化训练模式对神经网络模型进行训练；

当所述神经网络模型训练至目标阶段时，分别基于所述优化训练模式和基础训练模式，对所述神经网络模型进行所述目标阶段的训练；

根据所述优化训练模式和所述基础训练模式各自在所述目标阶段对于所述神经网络模型的训练情况，确定所述优化训练模式和所述基础训练模式各自对应的训练参考信息；

根据所述优化训练模式和所述基础训练模式各自对应的训练参考信息，从所述优化训练模式和所述基础训练模式中选出目标训练模式；

基于所述目标训练模式对所述神经网络模型继续进行训练。

2.根据权利要求1所述的方法，其特征在于，所述根据所述优化训练模式和所述基础训练模式各自在所述目标阶段对于所述神经网络模型的训练情况，确定所述优化训练模式和所述基础训练模式各自对应的训练参考信息，包括：

确定基于所述优化训练模式完成所述目标阶段的训练所耗费的第一时长，确定在所述优化训练模式下所述神经网络模型在所述目标阶段的第一收敛量，将所述第一时长和所述第一收敛量作为所述优化训练模式对应的训练参考信息；

确定基于所述基础训练模式完成所述目标阶段的训练所耗费的第二时长，确定在所述基础训练模式下所述神经网络模型在所述目标阶段的第二收敛量，将所述第二时长和所述第二收敛量作为所述基础训练模式对应的训练参考信息。

3.根据权利要求2所述的方法，其特征在于，所述根据所述优化训练模式和所述基础训练模式各自对应的训练参考信息，从所述优化训练模式和所述基础训练模式中选出目标训练模式，包括：

根据所述第一时长和所述第一收敛量，计算所述优化训练模式对应的收敛速率；根据所述第二时长和所述第二收敛量，计算所述基础训练模式对应的收敛速率；

确定所述优化训练模式和所述基础训练模式中收敛速率最高的训练模式，作为所述目标训练模式。

4.根据权利要求1所述的方法，其特征在于，所述根据所述优化训练模式和所述基础训练模式各自在所述目标阶段对于所述神经网络模型的训练情况，确定所述优化训练模式和所述基础训练模式各自对应的训练参考信息，包括：

确定基于所述优化训练模式完成所述目标阶段的训练后所述神经网络模型对应的第一模型精度，作为所述优化训练模式对应的训练参考信息；

确定基于所述基础训练模式完成所述目标阶段的训练后所述神经网络模型对应的第二模型精度，作为所述基础训练模式对应的训练参考信息。

5.根据权利要求4所述的方法，其特征在于，所述根据所述优化训练模式和所述基础训练模式各自对应的训练参考信息，从所述优化训练模式和所述基础训练模式中选出目标训练模式，包括：

当所述第一模型精度高于所述第二模型精度时，确定所述优化训练模式为所述目标训练模式；

当所述第二模型精度高于所述第一模型精度时，确定所述基础训练模式为所述目标训练模式。

6.根据权利要求1所述的方法，其特征在于，所述当所述神经网络模型训练至目标阶段时，分别基于所述优化训练模式和基础训练模式，对所述神经网络模型进行所述目标阶段的训练，包括：

当所述神经网络模型训练至所述目标阶段时，基于所述优化训练模式对所述神经网络模型进行所述目标阶段的训练；

热关闭所述优化训练模式，热开启所述基础训练模式；

基于所述基础训练模式对所述神经网络模型进行所述目标阶段的训练。

7.根据权利要求1所述的方法，其特征在于，所述当所述神经网络模型训练至目标阶段时，分别基于所述优化训练模式和基础训练模式，对所述神经网络模型进行所述目标阶段的训练，包括：

当所述神经网络模型训练至所述目标阶段时，热开启所述基础训练模式，基于所述优化训练模式和所述基础训练模式，并行地对所述神经网络模型进行所述目标阶段的训练。