[发明专利]一种基于改进的深度强化学习的路径规划方法

说明书

本发明涉及一种基于改进的深度强化学习的路径规划方法，针对不同学习阶段对经验的深度和广度不同需求，提出了一种改进的学习策略，即深度Q网络采用密集网络框架计算Q值。在学习的初始阶段，创建经验值评估网络来增加深度经验的比例，以便更快地了解环境规则。当路径游荡现象发生时，使用并行探索结构来提高经验库的广度。另外，通过引用密集连接方法来改进网络结构，从而提高了网络的学习和表达能力。

技术领域

本发明属于用于导航的路径规划技术，涉及一种基于改进的深度强化学习的路径。

规划方法

背景技术

路径规划技术是导航的重要组成部分，它是机器人技术的核心研究。强化学习是通过智能体在环境中探索获得知识，在试错过程中进行学习，是机器学习领域的一个重要的分支。智能体在未知环境中缺乏环境相关的先验知识，这就要求其具有较强的灵活性与适应性来应对各种状况。同时智能体在路径规划过程中不可避免的会遇到各种障碍物，就要求所设计的路径规划方法能够灵活规划和对环境有一定的适应性，因此赋予智能体自主学习能力有非常重要的实际意义。学习新技能时，全面而多样的经验会有助于完善对新技能的掌握，被称为经验的深度和广度。

随着科学技术、特别是信息科学技术的迅猛发展，移动机器人在现实生活中扮演了越来越重要的角色。从简单的扫地机器人、机器人轮椅，到无人驾驶汽车，移动机器人的应用领域快速扩展。为了成功地完成各种工作任务，必须避免碰撞到环境中的障碍物，同时完成从一点到另一个点的导航。应用路径规划可以使移动机器人获得最佳的导航，减少了不必要的冗余路径，提高了移动机器人工作效率。

强化学习方法是一种基于数据的智能学习控制方法，无需模型信息，可以在移动机器人运动过程中采集样本数据进行学习，通过与环境进行交互收到环境反馈的评价，在迭代中获得近似最优策略，是解决移动机器人在复杂环境中路径规划的有效方法。强化学习算法通过试错的方式进行学习，在先验信息较少的复杂优化决策问题中具有广阔的应用前景。设计基于强化学习的路径规划方法能够使移动机器人具有自主学习能力，能够解决移动机器人在不确定环境中的路径规划问题。

在人工智能领域，在给定网格环境中如何找到一条从起点到目标点的最佳路径是一个知名且重要的问题。长期以来，研究人员在路径规划问题上，提出了许多处理路径搜索和优化问题的算法。具有代表性和启发性的算法，例如A*算法、模拟退火算法、人工势场算法、粒子群算法和蚁群算法。随着研究的深入，路径规划的速度和准确性不断提高，但是这些传统算法总有缺点，例如实时性能差和易于陷入本地最佳状态，不具备对环境的适应性。同时，Q学习、SARSA和其他强化学习算法在相当大的状态空间和动作空间也存在限制。而深度Q网络(DQN)将深度学习与强化学习相结合，使用经验库结构用于破坏样本顺序，以解决从强化学习中获得的经验与时间相关的问题。DQN可以很好地解决Q学习算法存在的容量局限性问题，因此DQN框架在路径规划方面具有巨大潜力。

发明内容

要解决的技术问题

为了避免现有技术的不足之处，本发明提出一种基于改进的深度强化学习的路径规划方法，即基于优化的DQN算法的路径规划方法。

技术方案

一种基于改进的深度强化学习的路径规划方法，其特征在于步骤如下：

步骤1、对传统深度Q网络在策略和网络结构上进行优化：

策略的改进：对下述ε-greedy策略进行改进，

μ是每轮随机生成的，大小在0和1之间，ε表示探索率，表示随机动作；

1、经验深度的策略：以当前点为中心的八个邻域的矩形，并评估选择一个特定动作时所获得的经验珍贵程度；价值估计网络E的t时刻损失函数为：

根据奖励功能的稀疏形式，将转换为：