[发明专利]超参数确定方法、装置、深度强化学习框架、介质及设备

权利要求书

1.一种超参数确定方法，其特征在于，所述方法包括：

获取在目标模型的目标超参数组合对应的采样取值组合下，与所述采样取值组合对应的采样样本，其中，所述目标超参数组合中包含多个具有关联关系的目标超参数，所述采样取值组合中包含每一所述目标超参数对应的采样取值；

根据所述采样样本生成所述目标超参数组合对应的交互样本，所述交互样本中包含所述采样取值组合和所述目标模型对应的优化特征参数；

根据所述交互样本，对所述目标超参数组合对应的状态价值进行更新，其中，所述目标超参数与所述目标超参数组合对应的目标超空间中的维度一一对应，每一所述目标超参数的参数空间在该目标超参数对应的维度下被离散化为多个取值区间，以使得所述目标超空间被离散化为多个取值空间；

根据更新后的所述目标超参数组合对应的状态价值，从所述多个取值空间中确定目标空间；

根据所述目标空间确定所述目标超参数组合对应的目标取值组合。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目标取值组合作为所述目标超参数组合对应的新的采样取值组合，并重新执行所述获取在目标模型的目标超参数组合对应的采样取值组合下，与所述采样取值组合对应的采样样本的步骤至所述根据所述目标空间确定所述目标超参数组合对应的目标取值组合的步骤，直至所述目标模型训练完成。

3.根据权利要求1所述的方法，其特征在于，所述根据所述交互样本，对所述目标超参数组合对应的状态价值进行更新，包括：

根据所述采样取值组合，确定所述采样取值组合所属的取值空间作为待更新取值空间；

根据所述优化特征参数，对所述待更新取值空间的状态价值进行更新。

4.根据权利要求1所述的方法，其特征在于，所述目标超空间对应有多个参考超空间，每一所述参考超空间中的取值空间对应的离散间隔大于所述目标超空间中的取值空间对应的离散间隔，每一所述参考超空间对应的原点不同；

所述根据所述交互样本，对所述目标超参数组合对应的状态价值进行更新，包括：

根据所述采样取值组合，确定所述采样取值组合在每一所述参考超空间中所属的参考取值空间，以及所述采样取值组合在所述目标超空间中所属的待更新取值空间；

根据所述优化特征参数，对每一所述参考取值空间的状态价值进行更新；

根据更新后的每一所述参考超空间对应的状态价值，对所述待更新取值空间的状态价值进行更新。

5.根据权利要求4所述的方法，其特征在于，所述根据更新后的每一所述参考超空间对应的状态价值，对所述待更新取值空间的状态价值进行更新，包括：

确定所述待更新取值空间在每一所述参考超空间中对应的映射取值空间；

根据每一所述映射取值空间的状态价值，确定所述待更新取值空间的状态价值。

6.根据权利要求1所述的方法，其特征在于，所述根据更新后的所述目标超参数组合对应的状态价值，从所述多个取值空间中确定目标空间，包括：

根据更新后的所述目标超参数组合对应的状态价值，确定每一所述取值空间的目标分数；

根据每一所述取值空间的目标分数，从所述多个取值空间中确定目标空间。

7.根据权利要求6所述的方法，其特征在于，所述根据更新后的所述目标超参数组合对应的状态价值，确定每一所述取值空间的目标分数，包括：

在所述更新后的所述目标超参数组合对应的状态价值中，针对每一所述取值空间，将该取值空间的状态价值进行归一化处理后所得结果确定为该取值空间的价值分数；

针对每一所述取值空间，根据所述取值空间的价值分数和所述取值空间的命中次数，确定所述取值空间的目标分数。