[发明专利]静态环境下基于深度强化学习的移动机器人避碰规划方法

说明书

本发明属于移动机器人导航技术领域，具体涉及一种静态环境下基于深度强化学习的移动机器人避碰规划方法。本发明使用激光测距仪采集原始数据，将处理后的数据作为A3C算法的状态S，通过构建A3C‑LSTM神经网络，将状态S作为网络输入，通过A3C算法，神经网络输出相应参数，利用参数通过正态分布选择移动机器人每一步执行的动作。本发明无需对环境进行建模，通过深度强化学习算法最终实现移动机器人成功在复杂静态障碍物环境下避障。本发明设计具有转艏约束的连续动作空间模型，且采用多线程异步学习，与一般深度强化学习方法相比，大大提高学习训练时间，减少样本相关性，保障探索空间的高利用性与探索策略的多样性，提升算法收敛性、稳定性以及避障成功率。

技术领域

本发明属于移动机器人导航技术领域，具体涉及一种静态环境下基于深度强化学习的移动机器人避碰规划方法。

背景技术

移动机器人的应用已经深入到生活中的各个领域，在工业生产线上，机器人可以代替人类进行繁重且重复性高的工作，提高了生产效率，解放了人类劳动力。

避障在多机器人执行任务过程中是机器人研究中的关键问题。它是一个动态、实时、不确定的典型环境模型。此外，它要求机器人快速、独立地适应环境的变化。对于避障问题，经常使用基于行为的响应控制方法和基于规则的控制策略。这两种方法都很简单，确定性很强，机器人对环境的反应更好。但是当任务和环境变得复杂时，机器人就会失控，从而导致错误的决策和死锁。此外，这些方法的设计者必须具有丰富的经验和领域知识来设计集成控制策略。但是，很难完全描述可能出现的整个实例，并且难以为完全未知或部分未知的领域设计规则。因此，提高机器人的适应性和鲁棒性是使其自学习的有效方法，其中，深度强化学习受到广泛关注。

强化学习、深度强化学习在移动机器人避障、导航等问题上都有着良好表现。总的来说，传统避障方法局限性较大，特别是对于复杂、动态未知环境不太适用；而智能避障算法特别是近几年热门的结合深度学习、强化学习的避障算法对于连续高维复杂动态未知环境有极大优势。

在复杂环境中的避障研究中，通常把障碍物分为两种状态：凸障碍物和凹障碍物，回形障碍物属于凹障碍物的一种，但是具有更复杂的结构。对于复杂静态障碍物特别是回形障碍物，如果没有适用的避碰算法，移动机器人很难逃离出这种环境。本发明提出的一种基于深度强化学习的移动机器人静态障碍物避障方法，则适用于未知复杂静态障碍物的连续动作空间避障问题，通过异步学习机制消除相关性，节省了通信成本、时间成本，从而提升探索策略的多样性最终提升算法稳定性，可实现在线学习。对于复杂环境而言，环境建模需要耗费大量时间与成本，本方法无需对环境建模，能更好的解决复杂静态障碍物环境特别是回形障碍物环境的移动机器人避障问题。在本发明的工作中，本发明将专注于学习避障行为，解决复杂静态障碍物环境移动机器人避障问题，提高其避障效率，更好的应用于移动机器人自主安全导航。

发明内容

本发明的目的在于：针对已有的技术的不足，提出一种在复杂静态障碍物环境特别是回形障碍物环境下的移动机器人避碰规划算法，本发明方法安全、有效、可靠，保证移动机器人在作业时，可以安全有效的躲避回形障碍物，同时有效的解决回形障碍物带来的陷阱问题，高效的逃离回形或其它任意凹型结构障碍物，从而顺利执行作业任务。

本发明的目的是这样实现的：

一种静态环境下基于深度强化学习的移动机器人避碰规划方法，包括以下步骤：

步骤一：通过移动机器人所携带的激光测距仪获取原始数据，获得障碍物信息；

步骤二：对步骤一中原始数据进行数据处理后，与在全局坐标系下的相关位置、角度信息结合进行相应处理，处理后的数据即A3C算法的状态S；

步骤三：设计针对环境下的A3C算法的动作空间、奖励函数，通过奖励函数在移动机器人执行完每一步动作后进行相应奖惩；

步骤四：设计复杂静态障碍物环境与移动机器人起始位置及虚拟目标；