[发明专利]超参数确定方法、装置、深度强化学习框架、介质及设备

权利要求书

1.一种超参数确定方法，其特征在于，所述方法包括：

获取在目标模型的目标超参数的采样取值下，与所述采样取值对应的采样样本；

根据所述采样样本生成所述目标超参数对应的交互样本，所述交互样本中包含所述采样取值和所述目标模型对应的优化特征参数；

针对用于确定所述目标超参数的多个参数确定模型中的每一参数确定模型，根据所述交互样本，对所述参数确定模型中所述目标超参数对应的状态价值进行更新，其中，每一所述参数确定模型的学习率不同，所述目标超参数的参数空间被离散化为多个取值区域，且多个所述参数确定模型对应的所述多个取值区域划分相同；

针对每一所述参数确定模型，根据该参数确定模型中所述目标超参数对应的更新后的状态价值，从所述多个取值区域中确定候选区域；

根据每一所述参数确定模型确定出的所述候选区域，确定目标区域；

根据所述目标区域确定所述目标超参数的目标取值。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目标取值作为新的采样取值，并重新执行所述获取在目标模型的目标超参数的采样取值下，与所述采样取值对应的采样样本的步骤至所述根据所述目标区域确定所述目标超参数的目标取值的步骤，直至所述目标模型训练完成。

3.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在所述交互样本的数量达到数量阈值的情况下，获取用于确定所述目标超参数的新的参数确定模型；

以所述新的参数确定模型替换所述用于确定所述目标超参数的多个参数确定模型中使用时长最长的参数确定模型。

4.根据权利要求1所述的方法，其特征在于，所述根据每一所述参数确定模型确定出的所述候选区域，确定目标区域，包括：

针对每一所述候选区域，获取确定所述候选区域的参数确定模型的数量；

将所述数量最大的候选区域确定为所述目标区域。

5.根据权利要求1所述的方法，其特征在于，所述根据所述交互样本，对所述参数确定模型中所述目标超参数对应的状态价值进行更新，包括：

在所述参数确定模型中，根据所述采样取值，确定所述采样取值所属的取值区域；

根据所述采样取值所属的取值区域确定待更新取值区域；

根据所述优化特征参数，对所述待更新取值区域的状态价值进行更新。

6.根据权利要求5所述的方法，其特征在于，所述根据所述采样取值所属的取值区域确定待更新取值区域，包括：

将所述采样取值所属的取值区域和处于所述采样取值所属的取值区域相邻的预设范围内的取值区域确定为所述待更新取值区域；

所述根据所述优化特征参数，对所述待更新取值区域的状态价值进行更新，包括：

根据所述优化特征参数和各个所述待更新取值区域的状态价值，分别对每一所述待更新取值区域的状态价值进行更新。

7.根据权利要求1所述的方法，其特征在于，所述根据该参数确定模型中所述目标超参数对应的更新后的状态价值，从所述多个取值区域中确定候选区域，包括：

在所述参数确定模型中，根据所述目标超参数对应的更新后的状态价值，确定每一所述取值区域的目标分数；

根据每一所述取值区域的目标分数，从所述多个取值区域中确定所述候选区域。

8.根据权利要求7所述的方法，其特征在于，所述根据所述目标超参数对应的更新后的状态价值，确定每一所述取值区域的目标分数，包括：

在所述目标超参数对应的更新后的状态价值中，针对每一所述取值区域，将该取值区域的状态价值、和该取值区域相邻的预设范围内的取值区域的状态价值的平均值确定为该取值区域的价值分数；

针对每一所述取值区域，根据所述取值区域的价值分数和所述取值区域的命中次数，确定所述取值区域的目标分数。