[发明专利]一种带有输入限制的未知无人船有限时间强化学习控制方法

说明书

本发明提供一种带有输入限制的未知无人船有限时间强化学习控制方法，包括：建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；基于设定的期望轨迹数学模型，引入有限时间控制理论；基于引入有限时间控制函数的所述期望轨迹数学模型，设计无人船有限时间轨迹跟踪最优控制器；基于设计的无人船有限时间轨迹跟踪最优控制器，进一步设计评判器和执行器的神经网络权重更新率。本发明的技术方案解决了现有技术中由于外界干扰过大时，控制器因为输入饱和特性使得跟踪效果变差的技术问题。

技术领域

本发明涉及强化学习与水面无人船的轨迹跟踪技术领域，具体而言，尤其涉及一种带有输入限制的未知无人船有限时间强化学习控制方法。

背景技术

在复杂海域内，无人船的误差是一个很重要也很难于控制的指标，通过在强化学习的基础上加入有限时间控制，可以使得无人船在达到最优控制的基础上，误差也在有限时间内收敛，提高系统的响应速度。外界有较大的风浪流等干扰因素，因此无人船需要较大的控制输入来进行控制，但是现有的控制方法中未考虑控制器存在输入饱和限制，当外界干扰过大时，控制器会因为输入饱和特性使得跟踪效果变差。

发明内容

根据上述提出的技术问题，而提供一种带有输入限制的未知无人船有限时间强化学习控制方法。本发明考虑控制器存在输入饱和限制，当外界干扰过大时，控制器不会因为输入饱和特性使得跟踪效果变差，当需要提高系统的控制性能而对系统的指定性能进行设计时，就需要用到指定性能的控制方法，使得系统的暂态性能得到保证。

本发明采用的技术手段如下：

一种带有输入限制的未知无人船有限时间强化学习控制方法，包括如下步骤：

S1、建立无人水面船数学模型，设定无人水面船的期望轨迹数学模型；

S2、基于设定的所述期望轨迹数学模型，引入有限时间控制理论；

S3、基于引入有限时间控制函数的所述期望轨迹数学模型，设计无人船有限时间轨迹跟踪最优控制器；

S4、基于设计的无人船有限时间轨迹跟踪最优控制器，进一步设计评判器和执行器的神经网络权重更新率。

进一步地，S11、定义两个坐标系，分别为北东坐标系OXY和附体坐标系O_bX_bY_b；

S12、对无人水面船进行建模，得到如下船舶运动控制数学模型：

其中，η＝[x,y,ψ]^T表示北东坐标系下的船舶位置向量，x、y表示无人水面船运动的北东位置，ψ∈[0,2π]表示艏摇角；R(ψ)表示地球坐标系和船体坐标系之间的转换矩阵；ν＝[u,v,r]^T表示附体坐标系下无人水面船运动的速度向量，u、v、r分别表示其纵荡速度、横荡速度、艏摇速度；τ′＝M^-1τ，表示包含附加质量的惯性矩阵；τ＝[τ_u,τ_v,τ_r]^T表示船舶控制输入向量，τ_u、τ_v、τ_r分别表示纵荡控制力、横荡控制力、艏摇控制力；f(v)表示系统动态向量，f(v)＝-M^-1(C(v)v+D(v)v)，M(t)＝M^T(t)＞0表示包含附加质量的惯性矩阵，C(v)表示斜对称矩阵，D(v)表示阻尼矩阵；

S13、设定无人水面船的期望轨迹数学模型，如下所示：