[发明专利]一种带有输入限制的未知无人船有限时间强化学习控制方法

权利要求书

1.一种带有输入限制的未知无人船有限时间强化学习控制方法，其特征在于，包括如下步骤：

S1、建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；

S2、基于设定的所述期望轨迹数学模型，引入有限时间控制理论；

所述步骤S2中，引入有限时间控制理论具体包括：

定义1：若存在和一个稳定时间ρ＞0和一个稳定时间T(ρ,e₀)＜∞使得对所有的t≥t₀+T来说满足||e||＜ρ，那么非线性系统的平衡状态e＝0是半全局有限时间稳定的；

定理1：在控制系统中，存在两个状态变量a和b，并且存在三个正定的常数c，d，e，满足下面的方程式：

定理2：考虑到无人船系统，如果存在一个正定函数J(e)和常数c＞0，0＜λ＜1，Π＞0满足以下的方程式，无人船系统是半全局有限时间稳定的：

J(e)≤-cJ^λ(e)+Π；

S3、基于引入有限时间控制函数的所述期望轨迹数学模型，设计无人船有限时间轨迹跟踪最优控制器；

所述步骤S3具体包括：

S31、构建无人船系统的动态方程：

S32、定义系统的代价函数为：

其中，Q(e)＝e^Tqe，λ＞0是折扣因子，U(τ)是正定的函数，表示如下：

其中，δ_i＞0，Φ＝diag(Φ₁,Φ₂,Φ₃)，是一个有界函数并且满足|tanh(·)|≤1与tanh(0)＝0；

S33、根据Leibniz规则和系统方程进行求导，Bellman方程如下：

即可以得出：

则哈密尔顿方程可以写为：

其中，并且最优的消耗函数可以被写为：

因此最优的哈密尔顿方程可以被写为：

S34、通过求解得到最优控制率为：

S4、基于设计的无人船有限时间轨迹跟踪最优控制器，进一步设计评判器和执行器的神经网络权重更新率；

所述步骤S4具体包括：

S41、根据前馈神经网络的全局逼近特性，定义最优消耗函数，如下：

其中，是评判器神经网络理想的权重向量，N是神经元的个数，表示神经网络输入向量基函数，是有界神经网络函数逼近误差；

V^*对于e的导数为：

S42、给出任何强化区间T＞0，由评判器神经网络估计消耗函数，因此考虑贝尔曼误差方程如下：

其中，

S43、设计成本函数的逼近函数，如下：

则积分型强化学习的贝尔曼误差方程如下：

S44、考虑目标函数采用梯度下降法得到

其中，α_c是正定矩阵；

S45、采用强化学习最优追踪控制，最优控制策略如下：

其中，是理想权重的估计，执行者自适应率如下：

其中，α_a是正定矩阵，l是设计的参数；

2.根据权利要求1所述的带有输入限制的未知无人船有限时间强化学习控制方法，其特征在于，所述步骤S1具体包括：

S11、定义两个坐标系，分别为北东坐标系OXY和附体坐标系O_bX_bY_b；

S12、对无人水面船进行建模，得到如下船舶运动控制数学模型：

其中，η＝[x,y,ψ]^T表示北东坐标系下的船舶位置向量，x、y表示无人水面船运动的北东位置，ψ∈[0,2π]表示艏摇角；R(ψ)表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]^T表示附体坐标系下无人水面船运动的速度向量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；τ′＝M^-1τ，M(t)＝M^T(t)＞0，其中表示包含附加质量的惯性矩阵；τ＝[τ_u,τ_v,τ_r]^T表示船舶控制输入向量，τ_u、τ_v、τ_r分别表示纵荡控制力、横荡控制力、艏摇控制力；f(v)表示系统动态向量，f(v)＝-M^-1(C(v)v+D(v)v)，其中C(v)表示斜对称矩阵，D(v)表示阻尼矩阵；

S13、设定无人水面船的期望轨迹数学模型，如下所示：

其中，x_d＝[η_d^T,v_d^T]^T,η_d＝[x_d,y_d,ψ_d]^T和ν_d＝[u_d,v_d,r_d]^T分别表示无人水面船跟踪的期望位置向量及速度向量。