[发明专利]一种基于强化学习的室内移动机器人避障方法及系统

说明书

本发明涉及一种基于强化学习的室内移动机器人避障方法及系统，该方法包括：构建室内移动机器人系统的数学模型；设计强化学习算法的回报函数；使用基于RE3探索策略的TD3算法，在仿真环境中对室内移动机器人系统的数学模型进行强化学习训练；将训练完成后的数学模型移植到现实环境中，实现室内移动机器人避障。所述系统用于实基于强化学习的室内移动机器人避障方法，系统包括数学模型构建、回报函数设计和强化学习训练三个模块。本发明使用TD3算法有效减少了Q值高估问题，而RE3探索策略则可以使机器人有效地探索环境并充分收集经验，仿真实验验证了其有效性。

技术领域

本发明涉及机器人自动化控制和人机交互技术领域，具体为一种基于强化学习的室内移动机器人避障方法及系统。

背景技术

室内移动机器人在很多场景中具有广泛的应用，如家庭、医院、工厂、仓库等。在这些场景中，机器人需要能够安全、高效地在复杂的室内环境中进行导航。为了实现这一目标，室内移动机器人的避障技术至关重要。

在关于机器人避障的方法中，文献1(Van Den Berg J,Guy S J,Lin M,etal.Reciprocal n-body collision avoidance[C]//Robotics Research:The 14thInternational Symposium(ISRR).Springer,2011:3-19.)提出了Optimal ReciprocalCollision Avoidance(ORCA)算法，该算法基于速度障碍区域计算互惠速度障碍，但是在周围障碍物增多时，使用该算法控制的机器人会面临冻结机器人问题。文献2(Chen Y F,LiuM,Everett M,et al.Decentralized non-communicating multiagent collisionavoidance with deep reinforcement learning[C]//2017 IEEE internationalconference on robotics and automation(ICRA).IEEE,2017:285-292.)提出了基于强化学习的Collision Avoidance with Deep Reinforcement Learning(CADRL)算法，该算法在训练前期使用了模仿学习的方法，模仿学习所用的数据由ORCA算法生成，因此在复杂环境中表现不佳。

发明内容

本发明的目的在于提供一种基于强化学习的室内移动机器人避障方法及系统，使用基于RE3探索策略的TD3算法对机器人进行强化学习训练，使机器人能够有效地学得在复杂环境中的行动策略。

实现本发明目的的技术解决方案为：一种基于强化学习的室内移动机器人避障方法，包括以下步骤：

步骤1、构建室内移动机器人系统的数学模型；

步骤2、设计强化学习算法的回报函数；

步骤3、使用基于RE3探索策略的TD3算法，在仿真环境中对室内移动机器人系统的数学模型进行强化学习训练；

步骤4、将训练完成后的数学模型移植到现实环境中，实现室内移动机器人避障。

进一步地，步骤1中，构建室内移动机器人系统的数学模型，具体为：

构建以机器人为原点，x轴指向目标位置的局部坐标系，机器人的状态s^robot与周围第i个障碍物的状态为：