[发明专利]一种无人机避障与路径规划方法

说明书

本发明公开一种无人机避障与路径规划方法，结合蒙特卡洛树搜索与对比强化学习算法，克服GPS在特定环境中信号不足的问题，实现无人机在复杂环境中避障与路径选择的功能。包括以下几个步骤：(1)构造环境仿真模拟器。(2)无人机在模拟器中获得观测信息，利用深度神经网络处理观测信息。(3)利用蒙特卡洛树搜索进行粗粒度的路径规划，生成无人机前进路径中的阶段性目标点，用于后续强化学习算法的训练。(4)利用强化学习学习无人机精细的控制策略和细粒度的路径规划。(5)基于对比学习加速无人机训练。本发明方法使得无人机在难度系数高，不确定因素大的复杂环境中有自主决策能力，在相当程度上可应对突发情况，完成特定任务。

技术领域

本发明涉及一种结合蒙特卡洛树搜索(MCTS)与对比强化学习技术的无人机避障与路径规划的解决方案，属于无人机飞行控制技术领域。

背景技术

随着科技的飞速发展与进步，无人机性能显著提高，近年来在民用和军用领域都得到了广泛的运用。在无人机技术的运用中，自主飞行和导航是极具挑战的任务，该任务一般分为环境感知、路径规划、无人机飞行控制三个阶段，其中路径规划是基础。在某些特殊场景中GPS信号往往误差较大甚至错误定位，无人机自主路径规划与避障就显得更为重要。无人机的路径规划主要负责无人机在复杂环境中，在最短的时间内从起点到目标点规划一条安全无碰撞路径。

传统的路径规划算法主要有基于图搜索的迪杰斯特(Dijkstra)算法、加入了启发式思想的A*算法及其变体、基于随机采样的快速扩展随机树法(RRT)和基于引力极与斥力极的人工势场法等，这些方法在某些场景已经得到应用。然而这些算法不具备学习能力，导致无人机没有自主决策能力，随着任务难度的增大与环境的复杂，尤其是当无人机处于某些特殊环境(地下、森林等GPS信号较弱甚至缺乏)时，这些算法不能实时有效的提供合理的航迹使得无人机具备应对环境变化和不确定性因素的能力。

近年来随着人工智能高速发展，计算机算力飞速提升，深度强化学习算法发展越发成熟并得到广泛应用。深度强化学习以试错的方式与环境进行交互学习，与传统的算法以及监督学习不同，强化学习算法是决策型算法，强化学习理论应用于机器人控制领域，可以使机器人获得类似于人类的决策能力，在面对难度系数高，复杂未知环境的任务时，在相当程度上可以有自主决策和应对突发情况的能力，使得整个机器人行为策略更加鲁棒。因此在解决传统算法不能应对的，复杂可变环境下的无人机路径规划和避障问题，强化学习有着重要的意义。强化学习实现无人机路径规划已经得到了逐步的应用，然而在无人机路径规划过程中，强化学习算法只能在小范围内进行精细路径规划，且更侧重于提供无人机的动作控制策略，训练难度大，往往在任务空间较大的情况下不容易着眼全局进行路径规划。

基于强化学习在无人机规划中存在的偏重于精细控制而不易着眼全局，训练难度大等问题，本发明结合蒙特卡洛树搜索和对比强化学习，实现无人机避障与路径规划。

发明内容

发明目的：为了克服当前基于强化学习的路径规划方案的不足，本发明提供了一种基于蒙特卡洛树搜索与对比强化学习的无人机避障与路径规划方法。

技术方案：一种无人机避障与路径规划方法，结合蒙特卡洛树搜索与对比强化学习算法，克服全球定位系统(GPS)在特定环境中信号不足的问题，实现无人机在复杂环境中(室内和室外环境)避障与路径选择的功能。包括以下几个步骤：

(1)搭建模拟器，即环境建模。

(2)将从模拟环境中获取的高维环境信息以及从模拟器中获取的无人机飞行速度、旋角、位置、高度一并作为无人机的高维观测信息，利用深度神经网络对无人机的高维观测信息进行特征提取，并使用深度神经网络指导蒙特卡洛树搜索以及作为强化学习算法的决策网络和价值评估网络。

(3)无人机与模拟环境交互，利用蒙特卡洛树搜索解决无人机在环境中因探索空间过大、奖励稀疏而导致的直接使用强化学习难以学出最优策略的问题。通过蒙特卡洛树搜索进行粗粒度的路径搜索，规划出无人机航线上的阶段性中间目标点，用于强化学习算法训练无人机进行精细的避障与路径规划。