[发明专利]一种基于强化学习的AUV自主避障方法

说明书

本发明公开了一种基于强化学习的AUV自主避障方法，首先设定AUV海底航行自主避障逻辑规则；如果前视声呐无法探测到障碍物，则AUV保持现有航行高度通过障碍物；如果前视声呐探测到障碍物且障碍物高度能够确定，则确定障碍物高度，拉高AUV使AUV航行高度超过障碍物通过障碍物；如果前视声呐探测到障碍物且障碍物高度无法确定，则AUV启动自主偏航策略，通过偏航方式绕过障碍物；AUV自主偏航策略采用基于策略梯度的强化学习模型确定最佳偏航角绕过障碍物。本发明综合考量了任务执行时间、偏离主航线角度与障碍物距离等多种因素，实现了在多种约束下自主实现的最优策略避障。

技术领域

本发明属于水下航行器技术领域，具体涉及一种AUV自主避障方法。

背景技术

对于AUV来说，其导航与避障能力是其基本指标中最重要的一部分。相比于依靠人员进行远程操控，发展其自主探测与避障能力，是提高其性能与潜力所必不可少的一步。但由于水下地形复杂，依靠前视声呐与简单的左右定值偏航绕行避障逻辑，会容易导致AUV偏离预定的航线，花费更多的时间，并更容易碰上障碍物。

传统的规划避障方法包括可视图法，栅格法，人工势场法等。可视图法是将整个环境点线化，将任务起点，目标点以及环境中的障碍物的各个顶点视作一个个节点，然后将各个节点连线组成点线图，连线要求全部存在于自由空间，即连线不可穿过任何一个节点，这样就组成了可视图，可视图中任何两个节点之间都是相互可视的，可以直接到达的，路径规划问题至此变成在节点之间寻找最短连线的问题。可视图法原理简单，设计方便，在早期的路径规划算法中相对比较实用，但是其局限性也很明显，忽略AUV的物理外形将其质点化，会造成算法模拟结果于实际结果相差较大，容易发生意外碰撞，同时在障碍物数量较多，形状不规则的情况下，点线网络的建立以及路径的搜索难度都会大大上升。栅格法是将整个空间分为许多栅格，栅格分为自由栅格与障碍栅格，一个栅格内没有障碍物，则将此栅格定义为自由栅格，一般使用白色进行标示，一个栅格内存在障碍物，则将此栅格定义为障碍栅格，一般使用黑色进行标示；每个栅格的大小相同，AUV在白色栅格之间搜寻路径，遇到黑色栅格则会避开；其优点在于能够化复杂环境为简单模型，直接快捷，同时也可以在简单的三维环境下使用；缺点则是空间利用率过低，一处空间只要存在障碍物就会被标记为障碍栅格，相当于抛弃了该栅格内的所有剩余空间，导致规划出的路径效率很低；同时由于栅格的规则性，会使得AUV在移动方向选择上受到很大制约，导致最终规划出的路径非常不平滑；在障碍物较多的复杂环境很难选择栅格大小，太大会导致障碍栅格过多无法进行路径规划，太小则会使计算量呈指数型上升。人工势场法是一种虚拟力场法，将AUV在空间中的移动视作为在某种人工虚拟势场下的运动；算法的原理是在障碍物和AUV之间设置虚拟斥力，将AUV与目标点间设置虚拟引力；随后利用算法模拟环境中的虚拟力产生的虚拟势场，虚拟势场产生虚拟合力，推动AUV避开障碍物并朝着目标点方向前进。这种方法具有算法简单，执行效率高等优势，其缺点在目标点附近存在障碍物时，引力趋向于0但斥力不为0，导致AUV难以接近目标点，其次环境中的虚拟势场中可能存在合力为0的位置，AUV可能运动到死区，随后开始原地振荡，陷入停滞状态；此外，通过虚拟势场推动AUV前进得到的路径没有经过分析与评估，因此结果大部分都不是全局最优解。

发明内容

为了克服现有技术的不足，本发明提供了一种基于强化学习的AUV自主避障方法，首先设定AUV海底航行自主避障逻辑规则；如果前视声呐无法探测到障碍物，则AUV保持现有航行高度通过障碍物；如果前视声呐探测到障碍物且障碍物高度能够确定，则确定障碍物高度，拉高AUV使AUV航行高度超过障碍物通过障碍物；如果前视声呐探测到障碍物且障碍物高度无法确定，则AUV启动自主偏航策略，通过偏航方式绕过障碍物；AUV自主偏航策略采用基于策略梯度的强化学习模型确定最佳偏航角绕过障碍物。本发明综合考量了任务执行时间、偏离主航线角度与障碍物距离等多种因素，实现了在多种约束下自主实现的最优策略避障。

本发明解决其技术问题所采用的技术方案包括如下步骤：

步骤1：设定AUV海底航行自主避障逻辑规则；