[发明专利]一种基于人工势场法和MADDPG的多无人机运动规划方法

说明书

本发明公开了一种基于人工势场法和MADDPG的多无人机运动规划方法，该方法在原有多无人机探索环境经验的基础上，增加了通过人工势场法将多无人机成功规划至目标的高质量经验，在通过MADDPG算法训练时，以一定的概率分别从探索环境经验和高质量经验中采集样本，以每个无人机的自身状态信息和环境信息作为神经网络的输入，以多无人机的速度作为输出，完成运动规划策略的训练，实现多无人机在复杂环境下自主避障并安全快速地到达目标位置。本发明方法充分地学习到多无人机在不同状态和不同动作时的Q值，提高了策略的鲁棒性，训练出适应性更强和灵活性更高的优秀策略，在多无人机协同运动规划的场景中有很好的应用前景。

技术领域

本发明属于无人机技术领域，具体涉及一种多无人机运动规划方法。

背景技术

随着科学技术的不断发展和完善，多无人机运动规划技术，即实现多个无人机高效避障的路径规划技术，已经广泛应用在人类生产和生活的各个方面，在军民技术融合和工业效率革新中发挥着重要作用。传统的多无人机运动规划方法致力于在环境完全可知且基本固定，并且无人机定位准确且满足相关的运动轨迹的情况下，利用一些搜索算法和规划算法，计算出一条较优的路径，例如A*算法、人工势场法(Artificial Potential Field，简称APF)及向量场直方图算法(VFH+)等。这些方法通常容易受到无法预料的干扰，任何不完整的感知、有偏差的估计或不正确的模型都将导致性能不佳。此外，多无人机在实际运动的过程中环境处于动态、复杂且未知的状态，此时环境的状态转换模型通常是未知的，同时对运动路径进行规划时要综合考虑多无人机的机动性能、任务时间以及躲避障碍等多种因素，所以基于模型的传统算法无法迅速地根据环境的变化决策出最优的规划动作。因此，发明一种更智能的多无人机运动规划方法，使多无人机在复杂动态环境高效实现相互协调和安全避障具有重要意义。

多智能体深度强化学习(Multiagent Deep Reinforcement Learning，简称MDRL)不依赖环境模型以及先验知识，而且具有自主学习和预测学习的特点，可以适用于随机变化的环境，已被广泛应用于智能控制、仿真模拟、任务优化等领域，为解决多无人机的运动规划问题提供了重要的方法和途径。该方法的基本思想是通过最大化多无人机从环境中获得的累计奖赏值，从而学习到完成目标的最优决策，目前已经被运用于多无人机的运动规划中。公开专利CN109059931A提出了一种基于多智能体强化学习的运动规划方法，基于最基本的强化学习Q-Learning算法，采用功能互补的全局智能体和局部智能体来对飞行环境进行探索和利用，分别对应全局路径规划和局部路径规划，然而该方法要求动作空间离散且维数不能太高，而且得到的策略是离散性的，在动态复杂的环境中适应性差；而在实现高效的连续决策方面，MADDPG算法作为一种优秀多智能体深度强化学习算法，采用集中学习和分散行动的框架，无需建立现实通信规则，可以很好地解决环境非平稳性问题，为多智能体强化学习提供了优秀的基础框架。然而该算法在应用于数量较多的智能体运动规划时，普遍存在联合空间维数过大的问题，同时训练周期明显加长，难以收敛，甚至存在训练的模型稳定性和动态适应性极差的问题，难以适用于动态复杂的环境，具有一定的局限性。

人工势场法是一种经典的智能体运动规划算法，它将目标和障碍物分别看作对智能体有引力和斥力的物体，使智能体沿引力与斥力的合力来进行运动，可以简单高效地将智能体规划至目标位置。将MADDPG算法和人工势场法的优势相结合，设计一种收敛性和适应性强大的多无人机运动规划方法，对于多无人机在动态复杂的环境中高效地完成运动规划具有重要意义。

发明内容