[发明专利]用于仿真足球机器人控球的控制方法

摘要

本发明公开了一种用于仿真足球机器人控球的控制方法，利用tile coding线性函数近似方法降低状态空间维度，足球机器人智能体模块在强化学习中选择Sarsa算法，对策略进行在线打分，高分优先选择的原则训练选择一个最优策略，仿真结果表明Sarsa算法可大大提高控球率。本发明基于Sarsa算法来应用强化学习，在keepaway上实验，在一个小的任务中保持球员可长时间控球，达到高持球率，从而可加大多智能体之间传球协作或可找到合适的机会射门，加大得分胜率。

主权项

1.一种用于仿真足球机器人控球的控制方法，其特征在于，利用tile coding线性函数近似方法降低状态空间维度，智能体在强化学习中选择Sarsa(λ)算法，对策略进行在线打分，以高分优先选择的原则训练选择一个最优策略，具体包括步骤如下：步骤(1)、对于起始状态，随机选择一个智能体模块作为优先选择模块进行初始化实值数组Q(s,a)，观察当前状态s，基于Q值的策略选择一个行为a；步骤(2)、对每个智能体模块内部进行Q(s,a)值更新，得到下一个状态s'，并观察奖赏值r；根据动作选择概率函数选择状态s'与基于Q值的策略选择一个行为动作a'；步骤(3)、在每个智能体模块内部更新资格迹e(s,a):δ←r+γQ(s',a')‑Q(s,a)e(s,a)←e(s,a)+1；其中，e(s,a)为资格迹，规定在每一个时间步中对于一个状态动作对(s,a)对应该更新的量，γ是折扣率，α是步长，λ是衰减率；步骤(4)、每个智能体模块内部更新所有状态动作对(s,a)的Q值，表示为:Q(s",a")←Q(s",a")+αδe(s",a")e(s",a")←γλe(s",a")；步骤(5)、更新下一个状态与行为，表示为:s←s′a←a′步骤(6)、重复步骤(2)‑(5)；对于每一个状态s和行为a，每当接收到一个新的奖赏就更新Q(s,a)。