[发明专利]静态环境下基于深度强化学习的移动机器人避碰规划方法

权利要求书

1.一种静态环境下基于深度强化学习的移动机器人避碰规划方法，其特征在于，包括以下步骤：

步骤一：通过移动机器人所携带的激光测距仪获取原始数据，获得障碍物信息；

步骤二：对步骤一中原始数据进行数据处理后，与在全局坐标系下的相关位置、角度信息结合进行相应处理，处理后的数据即A3C算法的状态S；

步骤三：设计针对环境下的A3C算法的动作空间、奖励函数，通过奖励函数在移动机器人执行完每一步动作后进行相应奖惩；

所设计的动作空间为移动机器人艏向角每个步长变化范围在[-10°，+10°]区间内的连续动作空间，其中一个步长表示1s，移动机器人整个避障过程中速度恒定为1m/s，初始艏向角以正北方向为基准规定为0度，逆时针为正；

奖励函数包括对与目标距离的惩罚、与障碍物距离的惩罚以及对所用步长的惩罚这三部分，分别代表对距离最近的障碍物与当前移动机器人距离的惩罚、对目标与移动机器人距离的惩罚、对整个回合所用步数数目的惩罚；当移动机器人每个步长执行完一个动作时，奖励函数均会针对当前状态下所选动作的好坏进行相应奖惩；

奖励函数R如下式所示：

R(s，a)＝p·tar_dis+q·obs_dis+k·step_count

其中，p·tar_dis为R₁，表示奖励函数对移动机器人与目标距离的惩罚；tar_dis表示当前时刻移动机器人与虚拟目标的距离；p为目标奖励系数，p设定为负值；

q·obs_dis为R₂，表示奖励函数对障碍物与当前移动机器人距离的惩罚，此处障碍物为距离最近的障碍物；obs_dis表示当前移动机器人与其距离最近的障碍物距离；q为障碍物奖励系数；由于最主要目的是成功避障，故设置相应安全距离，将q设定为正值，在安全距离以外的障碍物与当前移动机器人距离越大越好，使得obs_dis越大，奖励函数所给奖励越大；

k·step_count为R₃，k为时间惩罚系数，step_count为当前累计步数；R₃表示对避障所用步数即所花费时间的惩罚，取k为负数，使得step_count越大，奖励函数所给惩罚越大；

利用强化学习使奖励最大化的特性，通过对移动机器人是否成功躲避障碍物、是否到达虚拟目标、所花费代价是否较少等方面进一步针对移动机器人每一步的动作进行相应奖惩，使移动机器人最终实现在复杂静态障碍物含回形障碍物环境下成功避障、到达虚拟目标且避障路径较为平滑，所用代价较小即避障路径较短的预期目标；针对避障，分为激光测距仪探测范围内障碍物存在与否两种情况：

若探测范围内无障碍物，则对机器人艏向角进行相应奖励，若移动机器人朝向目标方向前进，则给予奖励如下式所示：

其中，tar_det为全局坐标系X_eO_eY_e下小车艏向角与小车与目标连线与X_e轴正方向所成夹角的角度差；

若探测范围内存在障碍物，则对移动机器人的碰撞状态进行惩罚，如下式所示：

其中，obs_dis表示当前移动机器人与其距离最近的障碍物距离；dis_crash设置为碰撞距离，将其作为安全距离，若obs_dis＜＝dis_crash，默认发生碰撞，对其进行相应惩罚且当前回合结束，开始下一回合；

针对移动机器人是否到达目标的奖惩如下式所示：

其中，tar_dis表示当前时刻移动机器人与虚拟目标的距离；dis_reach为设置的到达距离，即tar_dis＜＝dis_reach时，默认移动机器人到达目标，对其进行奖励；为使移动机器人能够更好地、较为连续稳定到达目标，设置连续到达奖励R_1′，如下式所示：

其中，k为连续到达奖励系数；ep_count为移动机器人连续到达目标的回合累计数，若出现未到达回合，则ep_count清零；

步骤四：设计复杂静态障碍物环境与移动机器人起始位置及虚拟目标；

步骤五：建立A3C-LSTM神经网络，将状态S作为网络的输入层；

步骤六：使用A3C算法对建立的A3C-LSTM神经网络进行训练学习，训练完成，将保存好的网络模型应用于移动机器人避障。