[发明专利]超参数确定方法、装置、深度强化学习框架、介质及设备

说明书

本公开涉及一种超参数确定方法、装置、深度强化学习框架、介质及设备，所述方法包括：获取在目标模型的目标超参数的采样取值下，目标超参数对应的交互样本，交互样本是根据获得的与采样取值对应的采样样本生成的，交互样本中包含采样取值和目标模型对应的优化特征参数；针对用于确定目标超参数的多个参数确定模型中的每一参数确定模型，根据交互样本，对参数确定模型中目标超参数对应的状态价值进行更新；针对每一参数确定模型，根据该参数确定模型中目标超参数对应的更新后的状态价值，从多个取值区域中确定候选区域；根据每一参数确定模型确定出的候选区域，确定目标区域；根据目标区域确定目标超参数的目标取值，以提高超参数取值的准确性。

技术领域

本公开涉及计算机领域，具体地，涉及一种超参数确定方法、装置、深度强化学习框架、介质及设备。

背景技术

随机计算机技术的发展，各类大型模型、复杂的机器学习模型逐渐开始应用。在模型中需要通过大量的参数进行计算，从而使得该模型可以满足用户的需求。在模型中的部分参数可以通过模型的训练进行优化，例如神经网络模型中的权重，而部分参数不能够通过模型的训练进行优化，这类参数为模型的超参数，例如神经网络中的隐藏层的数量。超参数用于对模型的训练过程进行调节，通常是工作人员基于经验人为设置的，超参数并不直接参与到模型的训练过程，不会在模型的训练过程中进行更新。而超参数的设置对模型训练的迭代次数、收敛效率等具有较大影响。

发明内容

提供该发明内容部分以便以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。该发明内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

第一方面，本公开提供一种超参数确定方法，所述方法包括：

获取在目标模型的目标超参数的采样取值下，与所述采样取值对应的采样样本；

根据所述采样样本生成所述目标超参数对应的交互样本，所述交互样本中包含所述采样取值和所述目标模型对应的优化特征参数；

针对用于确定所述目标超参数的多个参数确定模型中的每一参数确定模型，根据所述交互样本，对所述参数确定模型中所述目标超参数对应的状态价值进行更新，其中，每一所述参数确定模型的学习率不同，所述目标超参数的参数空间被离散化为多个取值区域，且多个所述参数确定模型对应的所述多个取值区域划分相同；

针对每一所述参数确定模型，根据该参数确定模型中所述目标超参数对应的更新后的状态价值，从所述多个取值区域中确定候选区域；

根据每一所述参数确定模型确定出的所述候选区域，确定目标区域；

根据所述目标区域确定所述目标超参数的目标取值。

第二方面，提供一种超参数确定装置，所述装置包括：

第一获取模块，用于获取在目标模型的目标超参数的采样取值下，与所述采样取值对应的采样样本；

生成模块，用于根据所述采样样本生成所述目标超参数对应的交互样本，所述交互样本中包含所述采样取值和所述目标模型对应的优化特征参数；

更新模块，用于针对用于确定所述目标超参数的多个参数确定模型中的每一参数确定模型，根据所述交互样本，对所述参数确定模型中所述目标超参数对应的状态价值进行更新，其中，每一所述参数确定模型的学习率不同，所述目标超参数的参数空间被离散化为多个取值区域，且多个所述参数确定模型对应的所述多个取值区域划分相同；

第一确定模块，用于针对每一所述参数确定模型，根据该参数确定模型中所述目标超参数对应的更新后的状态价值，从所述多个取值区域中确定候选区域；

第二确定模块，用于根据每一所述参数确定模型确定出的所述候选区域，确定目标区域；