[发明专利]动态环境下基于深度强化学习的移动机器人避碰规划方法

摘要

本发明公开一种动态环境下基于深度强化学习的移动机器人避碰规划方法，属于移动机器人导航技术领域。本发明通过激光测距仪采集原始数据，将原始数据处理后作为神经网络的输入，建立LSTM神经网络，通过A3C算法，神经网络输出相应参数，经过处理获得机器人每一步的动作。本发明无需对环境进行建模，更加适用于未知障碍物环境，采用actor‑critic框架与时间差分算法，实现低方差的同时更适用于连续动作空间，实现边训练边学习的效果。设计具有艏向转角限制的连续动作空间，且采用4个线程并行学习训练，与一般深度强化学习方法相比，大大提高学习训练时间，减少样本相关性，保障探索空间的高利用性与探索策略的多样性，从而提升算法收敛性、稳定性以及避障成功率。

主权项

1.一种动态环境下基于深度强化学习的移动机器人避碰规划方法，其特征在于，包括以下步骤：/n步骤一：通过移动机器人所携带的激光测距仪获取原始数据，获得障碍物信息；/n步骤二：对步骤一中原始数据进行数据处理后，与在全局坐标系下的相关位置、角度信息结合进行相应处理，处理后的数据即A3C算法的状态S；/n步骤三：设计A3C算法的动作空间、奖励函数，奖励函数包括对与目标距离的惩罚、与障碍物距离的惩罚以及对所用步长的惩罚；/n步骤四：设计障碍物环境，构建多类型动态障碍物；/n步骤五：建立LSTM神经网络，将步骤二中所得状态作为神经网络的输入，输出经处理后即为移动机器人所选择的动作即艏向角角度；/n步骤六：通过所建立的神经网络，使用A3C算法进行训练学习，在训练过程中，神经网络针对每一步的状态-动作对进行好坏评价，通过评价值不断更新网络相应参数，最终朝着使奖励最大化的方向更新，经过预设回合的训练后，移动机器人通过训练好的网络能够实现有效避障。/n