[发明专利]基于DDPG和LSTM的无地图机器人路径导航方法及系统

说明书

本公开提出了基于DDPG和LSTM的无地图机器人路径导航方法及系统，包括如下步骤：获取机器人的当前的状态信息及目标位置信息；将状态信息及目标相对位置输入至训练好的DDPG‑LSTM模型中输出最优可执行动作数据，使得机器人完成无碰撞的路径导航；将深度确定性策略梯度算法和长短期记忆网络融合应用于机器人路径导航，基于DDPG的神经网络结构进行改进，提出了将卷积神经网络(CNN)及LSTM相结合的网络结构作为DDPG网络结构的一部分，使得该网络结构能够根据输入直接输出动作，使得机器人可以直接接受具体指令实现移动，实现端到端的学习，完成机器人的无地图路径导航。

技术领域

本公开涉及路径规划相关技术领域，具体的说，是涉及基于DDPG和LSTM的无地图机器人路径导航方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，并不必然构成在先技术。

近年来，机器人技术有了突飞猛进的发展，平面移动机器人是其中一种应用广泛的机器人分支。移动机器人已广泛用于工业、农业、安全检测和日常生活中。路径规划作为移动机器人的一项必不可少的技术，一直是研究人员关注的焦点。它旨在找到从起点到目标点的最佳无碰撞路径。

受益于人工智能和计算机视觉的发展，智能机器人技术已取得了巨大的进步。但是，使机器人能够自动在现实世界中导航仍然是一项艰巨的任务。传统的导航方法包括定位、地图构建和路径规划。迄今为止，大多数方法都依赖于以人为基础的雷达或摄像机信息设计的度量或拓扑图。但是像雷达这样的测距传感器通常只能捕获有限的信息，而且价格昂贵。

为了简化路径规划的步骤，并使机器人能够智能地感知和做出决策，越来越多的研究人员尝试将机器学习(ML)方法应用于路径规划问题。强化学习(RL)作为ML的主要分支，擅长决策制定，并且在机器人控制方面表现出色。但是，基于RL的方法通常在具有固定目标的固定环境模型中实现。训练RL代理需要大量的试验，这对于实际应用是不切实际的。如果在模拟环境中进行训练，则无法将代理直接应用于新环境，即使在类似情况下也需要对其进行微调。对新目标和环境的泛化能力仍然是RL方法的挑战。

深度学习(DL)具有较强的感知能力，但是缺乏一定的决策能力；而强化学习具有决策能力，对感知问题却束手无策。深度强化学习(DRL)将两者结合，优势互补，为复杂系统的感知决策问题提供了解决思路。但是目前存在的DRL方法对于拥有连续运动空间的任务无法输出平滑的动作，因为普通神经网络的输出相对于机器人移动的连续动作是独立的，两个指令之间的跳跃可能比较大，就会产生机器人移动不平稳的问题。

发明内容

本公开为了解决上述问题，提出了基于DDPG和LSTM的无地图机器人路径导航方法及系统，深度确定性策略梯度算法(DDPG)和长短期记忆网络(LSTM)融合应用于机器人路径导航，基于DDPG的神经网络结构进行改进，提出了将卷积神经网络(CNN)及LSTM相结合的网络结构作为DDPG网络结构的一部分，使得该网络结构能够根据输入直接输出动作，使得机器人可以直接接受具体指令实现移动，实现端到端的学习，完成机器人的无地图路径导航。

为了实现上述目的，本公开采用如下技术方案：

本公开的第一方面提供基于DDPG和LSTM的无地图机器人路径导航方法，包括如下步骤：

获取机器人的当前的状态信息及目标位置信息；

将状态信息及目标相对位置输入至训练好的DDPG-LSTM模型中输出最优可执行动作数据，使得机器人完成无碰撞的路径导航；

所述DDPG-LSTM模型基于DDPG网络，将DDPG网络的Actor网络设置为卷积神经网络与LSTM级联的结构，使得模型输出机器人最优可执行动作数据。

本公开的第二方面提供基于DDPG和LSTM的无地图机器人路径导航系统，包括：机器人状态检测装置和机器人，所述机器人上述的基于DDPG和LSTM的无地图机器人路径导航方法。