[发明专利]一种基于强化学习的多AUV协同导航方法

说明书

本发明提供一种基于强化学习的多AUV协同导航方法，该方法将协同导航过程分为两个主要过程，首先是轨迹规划过程，集群中从AUV的轨迹根据所要执行的任务通过人工规划得到，主AUV的轨迹通过基于分层Q学习的轨迹规划方法得到。之后是导航计算过程，选用适当的非线性滤波算法进行实际导航计算。试验验证表明，主AUV按照本发明规划的轨迹航行，然后从AUV使用非线性滤波进行导航计算后能够明显降低从AUV的定位误差。

技术领域

本发明涉及一种基于强化学习的多AUV协同导航方法，属于水下航行器导航技术领域。

背景技术

自主水下航行器(Autonomous Underwater Vehicle，AUV)是水下移动机器人(Underwater mobile robot)的一种应用最广泛的形式，是可在水下自主运动、具有感知能力、可用于水下侦察、遥控猎雷和作战等的水下自主航行载体。其能够在水下发挥作用、执行任务的必要条件是能够准确地确定自身的位置，所以导航是AUV的关键技术之一。与陆地和空中的导航方式不同，由于水下缺少GPS的支持，航位推算、惯性导航、多普勒测速仪、声学定位与地球物理导航被广泛使用于AUV的导航，但是，上述这些导航方式有着各自的限制。

多AUV协同导航技术，尤其是主从式协同导航技术是目前的研究热点。主从式协同导航方法将AUV分为主AUV和从AUV，前者携带成本较高的高精度导航设备，后者携带成本较低的低精度导航设备和执行作业任务所需要的探测设备，两者之间通过水声通讯设备进行信息交流，从而提高整体AUV编队的导航精度。

主从式多AUV协同导航系统本身为一个弱观测系统，从AUV的观测误差与主从AUV之间的相对位置有关，所以在进行协同导航之前需要合理的规划主从AUV的轨迹，保证从AUV较高的观测度，进而获得最佳的协同导航效果。但是由于多AUV协同导航系统是一个复杂的非线性系统，难以通过理论计算得到合理的轨迹，对于简单的导航场景可以通过人工规划方式得到主从AUV的轨迹，但是对于复杂场景，例如多从AUV系统，传统方法难以找到有效地解决方案。

发明内容

为解决上述技术问题，本发明提供一种基于强化学习的多AUV协同导航方法，该方法将协同导航过程分为两个主要过程，首先是轨迹规划过程，集群中从AUV的轨迹根据所要执行的任务通过人工规划得到，主AUV的轨迹通过基于分层Q学习的轨迹规划方法得到。之后是导航计算过程，选用适当的非线性滤波算法(如EKF算法)进行实际导航计算。

本发明的技术方案为：

所述一种基于强化学习的多AUV协同导航方法，包括以下步骤：

步骤1：在离线状态下，针对单主多从的多AUV协同导航需求，主AUV利用预先规划好的各个从AUV轨迹，通过Q-learning方法学习得到对应各个从AUV的动作价值函数Q：

步骤2：在离线状态下，根据步骤1学习得到的对应每一个从AUV的动作价值函数，主AUV针对导航过程中的各个子阶段选取最优的动作进行执行，得到最优轨迹；

步骤3：在实际导航过程中，主AUV根据步骤2得到的最优轨迹，从AUV依据预先规划好的轨迹，并利用各自的导航设备进行导航计算，实现单主多从的多AUV协同导航。

进一步的，步骤1中，通过Q-learning方法学习得到对应各个从AUV的动作价值函数Q的过程为：

初始化N个动作价值函数Q为全0矩阵，N为从AUV的个数，给定迭代学习最大次数，然后对于每个从AUV，均采用以下迭代学习过程，得到对应的动作价值函数Q；对于第i个从AUV，具体步骤包括：

步骤1.1：针对主AUV，使用∈-贪心法从动作集合A中选取一个动作a，所述动作集合A为主AUV的动作集合，根据主AUV的最大航行角速度ω_max和最小航行角速度ω_min确定动作集合的取值：A∈{ω_min,…,ω_max}；