[发明专利]移动机器人路径规划Q学习初始化方法

摘要

本发明公开了一种基于人工势能场的移动机器人强化学习初始化方法。将机器人工作环境虚拟化为一个人工势能场，利用先验知识确定所有状态的势能值，使得障碍物区域势能值为零，目标点具有全局最大的势能值，这时人工势能场中每个状态的势能值就代表相应状态遵循最优策略获得的最大累积回报。然后定义Q初始值为当前状态的立即回报加上后继状态的最大折算累积回报。人工势能场将已知环境信息映射成为Q函数初始值，从而将先验知识融入到机器人学习系统中，提高了机器人在强化学习初始阶段的学习能力，与传统Q学习算法相比，本发明能够有效提高初始阶段的学习效率，加快算法收敛速度，算法收敛过程更稳定。

主权项

一种移动机器人路径规划Q学习初始化方法，其特征是，具体包括以下步骤：步骤一：建立人工势能场模型：根据已知环境信息在机器人工作空间构建人工势能场，使得障碍物区域势能值为零，目标点具有全局最大的势能值，整个势能场形成单调递增的曲面，这时人工势能场中每个状态的势能值就代表该状态获得的最大累积回报；步骤二：设计回报函数；步骤三：计算最大累积回报初始值：将每个状态的势能值作为该状态遵循最优行为策略所能够获得的最大累积回报；步骤四：Q值初始化：将所有状态‑动作对的Q(s，a)初始值定义为当前状态执行选定的动作获得的立即回报加上后继状态遵循最优策略获得的最大折算累积回报；步骤五：基于人工势能场的移动机器人Q‑学习：移动机器人在初始Q值的基础上继续在复杂环境中进行强化学习，通过Q值初始化能够将先验知识融入到学习系统中，对机器人初始阶段的学习进行优化，从而为机器人提供一个较好的学习基础。