[发明专利]一种基于强化学习的模型训练方法以及相关装置

说明书

本申请公开了一种基于强化学习的模型训练方法以及相关装置，可以应用于游戏策略模拟的过程中。通过获取预设强化学习模型和多个目标强化学习模型；然后将目标样本输入预设强化学习模型，并在强化学习环境中进行迭代计算，以得到样本集合；并从样本集合中提取经验样本，以结合目标强化学习模型建立正则化安德森目标函数；进一步的通过得到安德森系数向量确定损失函数，以对预设强化学习模型进行训练。由于在训练过程中的样本为循环使用的过程，提高了数据的利用率，进而减少了智能体与环境的交互次数，提高了强化学习模型训练的效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于强化学习的模型训练方法以及相关装置。

背景技术

强化学习是一种通过经验进行策略自主学习的数学框架。近年来，无模型深度强化学习算法被广泛应用于各种极具挑战性的领域，比如雅达利(Atari)系列单机游戏和星际争霸等多人在线战术竞技(MOBA)类游戏。

一般，对于强化学习模型的训练过程，为了训练得到一个较好的策略，通过智能体需要与环境进行持续的交互即可。

然而，对于围棋、视频游戏等具有高维状态空间的场景，智能体需要与环境交互的次数过高，影响强化学习模型训练的效率。

发明内容

有鉴于此，本申请提供一种基于强化学习的模型训练方法，可以有效避免伪造工作量证明产生的影响，提高机器学习任务的资源分配过程的准确性。

本申请第一方面提供一种基于强化学习的模型训练方法，可以应用于终端设备中包含基于强化学习的模型训练功能的系统或程序中，具体包括：获取预设强化学习模型和多个目标强化学习模型，所述预设强化学习模型与所述目标强化学习模型相关联；

将目标样本输入所述预设强化学习模型，并在强化学习环境中进行迭代计算，以得到样本集合；

从所述样本集合中提取N个经验样本，以结合所述目标强化学习模型建立正则化安德森目标函数，N为正整数；

通过调整所述安德森目标函数指示的组合贝尔曼残差，以得到安德森系数向量；

基于所述安德森系数向量确定损失函数，以对所述预设强化学习模型进行训练，训练后的所述预设强化学习模型用于指示智能体响应与所述强化学习环境输出的状态信息进行动作调整。

可选的，在本申请一些可能的实现方式中，所述样本集合中样本数量为D，D为正整数，所述从所述样本集合中提取N个经验样本，以结合所述目标强化学习模型建立正则化安德森目标函数，包括：

若D＜N，则进行样本补充，以得到更新后的所述样本集合；

从更新后的所述样本集合中提取N个经验样本，以结合所述目标强化学习模型建立正则化安德森目标函数；

若D≥N，则从所述样本集合中的D个样本中提取N个经验样本，以结合所述目标强化学习模型建立正则化安德森目标函数。

可选的，在本申请一些可能的实现方式中，所述进行样本补充，以得到更新后的所述样本集合，包括：

确定当前时间步对应的相邻时间步；

基于所述相邻时间步与预设迭代参数的关系进行样本补充，以得到更新后的所述样本集合。

可选的，在本申请一些可能的实现方式中，所述方法还包括：

确定所述样本集合的样本容量N_D；

当所述样本集合中的样本数量D达到所述样本容量N_D时，基于所述样本集合中样本的写入顺序进行样本替换，以对所述样本集合进行更新。