[发明专利]基于超参优化的深度强化学习模型的训练方法、装置

权利要求书

1.一种基于超参优化的深度强化学习模型的训练方法，其特征在于，所述方法包括：

获取多个初始超参数组合，和多个第一深度强化学习模型；

采用所述初始超参数组合中的多个超参数训练所述多个第一深度强化学习模型，以得到与所述多个第一深度强化学习模型分别对应的训练评价指标；

根据所述训练评价指标从多个第一深度强化学习模型之中筛选出第二深度强化学习模型；

采用与所述第二深度强化学习模型对应的多个目标超参数对所述初始超参数组合进行优化处理，以形成目标超参数组合；以及

采用所述目标超参数组合之中的多个超参数训练所述第二深度强化学习模型，以得到目标深度强化学习模型。

2.如权利要求1所述的方法，其特征在于，所述采用与所述第二深度强化学习模型对应的多个目标超参数对所述初始超参数组合进行优化处理，以形成目标超参数组合，包括：

确定所述初始超参数组合属于的超参数集合；

将所述多个目标超参数补充添加至所述超参数集合之中，以得到目标超参数集合；以及

从所述目标超参数集合之中选取至少部分超参数，并根据所述至少部分超参数形成所述目标超参数组合。

3.如权利要求1所述的方法，其特征在于，还包括：

在训练所述第二深度强化学习模型的次数达到设定迭代次数时，重新采用与所述第二深度强化学习模型对应的多个目标超参数对所述初始超参数组合进行优化处理。

4.如权利要求1所述的方法，其特征在于，所述采用所述目标超参数组合之中的多个超参数训练所述第二深度强化学习模型，以得到目标深度强化学习模型，包括：

采用所述目标超参数组合之中的多个超参数迭代训练所述第二深度强化学习模型，以得到所述第二深度强化学习模型输出的预测值；

如果所述预测值和标定值之间的损失值满足损失阈值，则将训练得到的所述第二深度强化学习模型作为所述目标深度强化学习模型。

5.如权利要求1所述的方法，其特征在于，所述第二深度强化学习模型的数量为设定个数，所述根据所述训练评价指标从多个第一深度强化学习模型之中筛选出第二深度强化学习模型，包括：

根据所述训练评价指标，对所述多个第一深度强化学习模型进行排序；

将排序在前的所述设定个数的第一深度强化学习模型作为所述第二深度强化学习模型。

6.如权利要求1所述的方法，其特征在于，所述训练所述多个第一深度强化学习模型，包括：

采用并行训练的方式训练所述多个第一深度强化学习模型。

7.如权利要求5所述的方法，其特征在于，还包括：

确定对所述第一深度强化学习模型进行训练的指标性能需求；

根据所述指标性能需求自适应地调整所述设定个数。

8.一种基于超参优化的深度强化学习模型的训练装置，其特征在于，所述装置包括：

第一获取模块，用于获取多个初始超参数组合，和多个第一深度强化学习模型；

第一训练模块，用于采用所述初始超参数组合中的多个超参数训练所述多个第一深度强化学习模型，以得到与所述多个第一深度强化学习模型分别对应的训练评价指标；

第一筛选模块，用于根据所述训练评价指标从多个第一深度强化学习模型之中筛选出第二深度强化学习模型；

第一处理模块，用于采用与所述第二深度强化学习模型对应的多个目标超参数对所述初始超参数组合进行优化处理，以形成目标超参数组合；以及

第二训练模块，用于采用所述目标超参数组合之中的多个超参数训练所述第二深度强化学习模型，以得到目标深度强化学习模型。