[发明专利]一种基于强化学习的变电站内巡检机器人路径规划方案

权利要求书

1.一种基于强化学习的变电站内巡检机器人路径规划方案，其特征在于，该方案针对变电站巡检场景，通过栅格法对实际变电站环境建模，并采用SARSA算法设计巡检机器人路径规划方案，在解决巡检机器人安全避障问题的同时合理规划巡检路径，适应实际变电站的复杂环境。

2.根据权利要求1所述的一种基于强化学习的变电站内巡检机器人路径规划方案，其特征在于，该方案具体包括以下步骤：

S1：获取实际变电站环境信息，建立变电站环境模型；

S2：设计基于SARSA算法的变电站内巡检机器人路径规划方案；

S3：简述具体方案流程，并将其在变电站环境模型中进行重复训练；

S4：通过仿真实例验证本发明所提方案的有效性。

3.根据权利要求2所述的变电站环境模型，其特征在于，利用栅格法对变电站环境进行建模，将其抽象为的栅格图，在变电站环境模型中，白色区域表示变电站内的可通行道路，乘号区域表示障碍物，巡检机器人、巡检点位及充电仓分别用五角星、加号和正五边形表示。

4.根据权利要求2所述的基于SARSA算法的变电站内巡检机器人路径规划方案，其特征在于，设计基于SARSA算法的巡检机器人路径规划方案，主要包括智能体、环境、状态、动作以及奖赏的设计，其中，在奖赏的设计过程中，当巡检机器人再次经过已到达的巡检点位时，无法重复获得奖励值，从而引导巡检机器人减少到达同一个巡检点位的次数。

5.根据权利要求2所述的基于SARSA算法的变电站内巡检机器人路径规划具体方案流程，其特征在于，具体方案流程包括初始化阶段、学习阶段和终止阶段，其中，在学习阶段，巡检机器人采用贪婪策略进行动作的选取，该策略使机器人得到的巡检路径更为保守，即巡检路径较短但不易与障碍物发生碰撞，由此大大延长巡检机器人的使用寿命。