[发明专利]一种基于强化学习的多水下机器人编队控制方法

摘要

本发明公开了一种基于强化学习的多水下机器人编队控制方法，涉及水下机器人控制领域。本发明中，水下机器人编队中的各机器人节点获取自身位置后，控制中心给出虚拟领导者的轨迹信息，并发送至虚拟领导者的邻居节点；水下机器人节点之间建立拓扑通信网络，每个水下机器人节点只和邻居节点进行通信保持编队稳定；水下机器人编队使用当前控制策略追踪轨迹，每个节点通过和环境以及邻居节点进行交互计算一步代价函数，通过令价值函数最小改进当前的控制策略，在价值迭代和策略改进两个步骤都达到收敛时，水下机器人追踪期望轨迹的控制策略达到最优，使用最优控制策略达到准确追踪的目标。

主权项

1.一种基于强化学习的多水下机器人编队控制方法，所述控制方法包括以下步骤：步骤1、将带有定位装置的水下机器人组成水下机器人编队，控制中心将期望轨迹发送至每个水下机器人，定义期望轨迹为虚拟领导者；并在各个水下机器人之间进行组网通信，建立水下机器人编队的拓扑通信结构G＝(V,ξ,A)；其中，G是各个水下机器人节点组成的带权有向图，V＝{v₁,v₂,...,v_N}是水下机器人各个节点的集合，ξ＝{e_ij＝(v_i,v_j)}∈V×V是有向图的有向边集，A＝[a_ij]代表具有非负邻接元素a_ij的加权邻接矩阵，且a_ij≥0；步骤2、水下机器人编队中水下机器人节点v_i在时刻t的自身位置为p_i(t)＝[x_i(t),y_i(t),z_i(t)]^T，虚拟领导者位置为p_r(t)＝[x_r(t),y_r(t),z_r(t)]^T令机器人节点v_i在时刻t+1的一步代价为其中，代表追踪误差的代价，u_i是水下机器人节点v_i的控制器输入，u_j代表邻居节点对机器人节点v_i的输入，A_i,B_i,C_i均为正定矩阵；建立价值函数：V_i(p_i(t))＝g_i(p_i(t),u_i(t),u_(j)(t))+γV_i(p_i(t+1))式中，γ∈(0,1)是折扣因子；步骤3、令V_i＝W_i^TΦ_i(p_i)，使用迭代权重的方法获得控制方法的价值模型：式中，p(t+1)代表时刻t+1的水下机器人状态，为基向量，是基向量中关于水下机器人节点位置的元素，W是权重向量，W^k+1表示水下机器人编队完成一次追踪后进行价值模型的权重更新，通过最小二乘法迭代求解；步骤4、令u_i(p_i)＝U_i^Tσ_i(p_i)，其中基函数σ_i(p_i(t))＝[κ_1,i(p_i(t)),κ_2,i(p_i(t)),...,κ_L,i(p_i(t))]，κ_i(p_i(t))是基向量中关于水下机器人节点位置的元素，权重向量U用梯度下降法进行更新，利用最小时的价值函数时对控制策略进行改进，以此得到在追踪过程中最优的控制策略：其中，u(p)是水下机器人进行位置追踪时每个状态下所进行的下一步动作，将h(p)作为最优控制策略；步骤5、利用迭代权重的方法对控制方法的价值模型更新，和控制策略改进两个过程的同时收敛，完成对当前状态下最优控制策略的求解；步骤6、将步骤1中利用定位装置获得的真实位置输入到步骤2中，经过步骤4‑5操作，获取下一步的最优控制策略；重复循环重复步骤6的操作，完成水下机器人的追踪任务。