[发明专利]基于Q学习的欠驱动AUV虚拟锚泊三维镇定控制及实现方法

摘要

本发明公开了基于Q学习的欠驱动AUV虚拟锚泊三维镇定控制及实现方法，属于无人水下机器人运动控制技术领域。包括：输入控制命令并初始化各变量；建立Q学习迭代方程，输入各变量；判断Q迭代的收敛性，是则策略选择动作，否则以虚拟锚泊控制输出组成动作；动作作用于AUV，得到所需参数，更新Q值和Q表；进行状态交换，判断AUV是否达到目标状态，在满足次数后，结束系统，否则继续迭代。虚拟锚泊控制部分：建立欠驱动AUV的动力学方程；建立欠驱动AUV的运动学方程；根据受力分析建立虚拟锚泊的数学模型；将锚链力进行分解，分配给AUV的执行器。本发明将虚拟锚泊控制的输出作为Q学习的指导，加快Q学习的收敛过程，为AUV在干扰的镇定控制问题提供了便利。

主权项

1.基于Q学习的欠驱动AUV虚拟锚泊三维镇定控制及实现方法，其特征在于：包括如下步骤：(1)：初始化各变量，设定输入状态变量、奖罚值R和输出动作A，建立Q表，输入控制命令；(2)：建立Q学习迭代方程，输入各变量，例如初始状态S；(3)：判断Q迭代的收敛性，是则选择ε‑greedy策略选择动作A，否则以虚拟锚泊控制输出组成动作A；(4)：将所选择动作A作用于AUV载体(也就是AUV的执行器输出X、N、M)，得到奖罚值R和下一时刻的状态S′，更新Q值和Q表；(5)：进行状态交换，判断AUV是否达到目标且保持镇定状态，是则退出迭代循环，在满足espisode次数后，结束系统，否则继续迭代；其中对Q值的更新具体表现为：判断迭代方程的收敛性，是则选择根据ε‑greedy策略选择Q(S,A)值最大的动作值A(如果在该状态下Q值全为零，则随机选择动作A)，否则利用虚拟锚泊控制来产生X、N、M，并以此组成动作A，以该动作来选择Q(S,A)值；AUV执行该动作A，到了S状态所相对的下一时刻的状态S′，并将评价该动作A的好坏，给定奖罚值R(S,A,S′)；将S′在Q表中查找值的最大数并选择动作A′，将Q(S,A)、R(S,A,S′)和代入迭代公式中计算S状态下的Q值，对Q(S,A)进行计算，并在Q表中所对应的S、A的Q值进行更新。