[发明专利]一种基于多重目标神经网络的强化学习值函数更新方法

说明书

本发明提出一种基于多重目标神经网络的强化学习值函数更新方法，包括步骤：(1)构建并初始化强化学习智能体，其主要包括1个在线神经网络和K个目标神经网络；(2)智能体与环境进行交互；(3)每隔一定训练次数，将在线神经网络的参数按照编号顺序复制到相应的目标神经网络；(4)将多重目标神经网络输出中小于阈值的值函数进行平均，得到新的值函数估计更新目标；(5)利用基于多重目标网络的更新目标来更新在线神经网络参数；(6)判断是否达到预定的训练总次数，是则退出训练，否则继续训练。上述基于多重目标神经网络的强化学习值函数更新方法，能够有效去除值函数估计过程中的过估计误差，从而得到具有更好表现的策略。

技术领域

本发明涉及基于值函数的强化学习领域，尤其涉及一种基于多重目标神经网络的强化学习值函数更新方法。

背景技术

强化学习智能体可通过与环境进行交互，在不需要标签样本的情况下学习行为策略。深度强化学习通过结合具有强大表征能力的深度学习和具有序列决策的强化学习，展现出解决复杂控制问题的潜力。该方法已经在诸如机器人控制、棋牌类游戏以及即时战略类游戏等任务中获得成功应用。

深度强化学习领域中众多基于值函数的方法都是基于Q-learning算法建立起来的。但是，Q-learning算法由于包含一个在值函数中挑选最大值构成值函数更新目标的操作，所以会过高地估计值函数。而这种过估计误差会导致强化学习智能体无法学习到最优策略。更重要的是，当前Q-learning算法被应用于构建多个智能体共同完成一个目标的协作型多智能体系统中；如果每个智能体都过高地估计值函数，那么过估计误差的危害将会更大。因此，如何在估计值函数的过程中尽量降低过估计误差的影响，是强化学习智能体策略表现优劣的关键。

发明内容

针对强化学习的值函数更新过程会受到过估计误差影响，本发明提出一种基于多重目标神经网络的强化学习值函数更新方法，旨在降低强化学习值函数的过估计误差，从而学习到具有更好表现的的策略。

本发明解决其技术问题所采用的技术方案包含以下步骤：

(1)构建并初始化强化学习智能体：强化学习智能体主要包括1个在线神经网络和K个目标神经网络，其中目标神经网络的编号分别为0，1，……，K-1；

(2)智能体与环境进行交互：智能体在环境的当前状态s_t执行动作a_t，转移到下一时刻状态s_t+1，并得到环境返回的立即奖励值r_t；

(3)更新目标神经网络参数：每隔一定训练次数T_target，将在线神经网络的参数θ复制到编号为mod(T_sum/T_target,K)的目标神经网络中，其中mod()为除法的取余运算，T_sum为当前迭代次数，T_target为目标神经网络的更新周期次数；

(4)使用多重目标神经网络进行值函数更新目标的计算：为消除过大的过估计误差，本发明使用K个目标神经网络输出中小于阈值的值函数来计算一个新的值函数更新目标：

其中，为第k个目标神经网络的输出值，c_k表示该输出值是否超过阈值：

其中，sign()为符号函数，当参数大于0时返回1，小于0时返回-1，等于0时返回0；为K个目标神经网络输出的平均值，α为调节阈值大小的超参数因子；注意，一种不包含于上述公式的特例是直接使用K个目标神经网络中的最小输出值来计算更新目标y_K；

(5)利用基于多重目标神经网络的更新目标来更新在线神经网络参数：在每一次训练中，利用上述更新目标y_K构造损失函数来训练在线神经网络的参数，损失函数为：