[发明专利]一种模型训练方法、装置、设备、系统及存储介质

说明书

本申请提供的一种模型训练方法，在该方法中将模型训练阶段先划分成多个连续的训练阶段，在每个训练阶段中既着重于模型网络参数的迭代更新同时又着重于针对特定超参数的优化搜索，如此就能够使得每个训练阶段训练结束后的模型能够具备特定超参数的最优能力，每个训练阶段训练结束后会自动将当前训练阶段训练所得的最优模型作为下一训练阶段的初始模型，采用这种阶层递进地方式进行训练，使得最后一个训练阶段训练所得最优模型就整合了所有特定超参数的最优能力，而且超参数的优化过程是在模型正常训练流程中进行，并不需额外花费过多时间，如此就能够很好地评估训练时间和训练效果，能够在指定时间内训练得到综合性能最优的模型。

技术领域

本申请涉及机器学习技术领域，尤其涉及一种模型训练方法、装置、设备、系统及存储介质。

背景技术

强化学习(Deep Reinforcement Learning,DRL)，又称再励学习、评价学习或增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体(agent)在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。

但是强化学习方法目前还存在一些问题，其中，超参数设定问题由于直接影响学习的效率和质量，因而具有重要的研究价值。一般情况下，基于深度强化学习方法往往需要数十几天时间和数台设备资源才能训练得到性能优秀的模型，而传统的训练方式是从头到尾固定一组超参数的值进行训练，即超参数在正在训练过程中保持不变，然而，训练过程中保持单一的超参数，将会导致训练所得的模型能力单一。

当然，除了强化学习之外，在有监督学习和无监督学习等场景下会存在上述同样的超参数设定问题，基于此，目前在机器学习场景急需研究一种解决方案以在训练效果和训练时间上寻找平衡点，能够在提高训练效率的同时提高多种超参数在模型中的综合能力，即提高模型能力。

发明内容

本申请实施例提供了一种模型训练方法、装置、设备、系统以及介质，这些方案能够平衡训练效果和训练时间，在模型训练过程中阶段性优化不同的超参数，如此能够使得模型最大化综合各种超参数能力，从而提高模型最终性能。

在本申请第一方面提供了一种模型训练方法，所述方法包括：

确定模型对应的多个连续训练阶段，不同的训练阶段用于在模型训练过程中同步优化不同的超参数；

在所述多个连续训练阶段的当前训练阶段中，根据所述当前训练阶段中待优化的超参数对应的超参数搜索范围进行超参数优化搜索，获得当前训练阶段训练所得的最优模型作为当前训练阶段最优模型；

将所述当前训练阶段最优模型作为下一训练阶段的初始模型，根据所述下一训练阶段中待优化的超参数对应的超参数搜索范围进行超参数优化搜索，获得所述下一训练阶段训练所得的最优模型作为所述下一训练阶段最优模型，直到获得在所述多个连续训练阶段中的最后一个训练阶段训练所得的最优模型。

在本申请第二方面提供了一种模型训练装置，所述装置包括：

确定模块，用于确定模型对应的多个连续训练阶段，不同的训练阶段用于在模型训练过程中同步优化不同的超参数；

第一训练模块，用于在所述多个连续训练阶段的当前训练阶段中，根据所述当前训练阶段中待优化的超参数对应的超参数搜索范围进行超参数优化搜索，获得当前训练阶段训练所得的最优模型作为当前训练阶段最优模型；

第二训练模块，用于将所述当前训练阶段最优模型作为下一训练阶段的初始模型，根据所述下一训练阶段中待优化的超参数对应的超参数搜索范围进行超参数优化搜索，获得所述下一训练阶段训练所得的最优模型作为所述下一训练阶段最优模型，直到获得在所述多个连续训练阶段中的最后一个训练阶段训练所得的最优模型。

在本申请第三方面提供了一种设备，所述设备包括：

存储器和处理器；