[发明专利]一种基于强化学习的空间非合作目标参数自整定追踪方法

权利要求书

1.一种基于强化学习的空间非合作目标参数自整定追踪方法，其特征在于，包括以下步骤：

第一步，针对(a)失效卫星，(b)带机动非合作目标的两种情形，分别建立追踪星与目标星的相对动力学模型，设计控制律；

第二步，根据第一步的动力学模型及控制律，建立基于强化学习的参数自整定学习框架；

第三步，根据第二步的所述学习框架，通过由模糊系统组成的执行器Actor和评价器Critic部分，分别获取当前控制参数和当前状态对应的值函数，通过与智能体所处环境交互，获取下一状态值函数与回报，基于时间差分法与梯度下降法，通过迭代逐次优化控制参数进行学习；学习结束时，得到优化后的控制参数，最终实现对情形(a)的初始加速度降低和对情形(b)的终端跟踪误差降低。

2.根据权利要求1所述的基于强化学习的空间非合作目标参数自整定追踪方法，其特征在于：所述第一步具体实现如下：

(1)建立追踪星与目标星的相对动力学模型

对于情形(a)：

设追踪星质心C相对于追逐航天器P的相对位置、相对速度分别为r_re和v_re，相对姿态、相对角速度分别为q_re和ω_re,建立追踪星相对于目标星的相对位置动力学模型；

其中，ω_c为追踪星质心C在追踪星本体坐标系下相对于惯性系的角速度，ω_t为目标星质心T在目标星本体坐标系下相对于惯性系角速度，p_t为追踪星质心C满足对目标星质心T点在目标星本体坐标系下的相对距离，表示从目标本体坐标系到追踪星本体坐标系的转换矩阵，J_t为目标星的转动惯量，f和d_f分别为目标本体坐标系下的追踪星质心C所受到的控制力和扰动力，τ和d_τ分别为目标本体坐标系下追踪星质心C所受到的控制力矩和扰动力矩，m和J_c分别为追踪星的质量和转动惯量，Ω(q_c)为姿态矩阵；

对于情形(b)：

追逐航天器P需要对非合作逃逸航天器E进行跟踪，建立参考轨道坐标系Ox_oy_oz_o，即O系，设偏心率e约等于0，ω^*为参考轨道坐标系轨道角速度，得到追踪星相对于目标星的相对位置动力学模型；

其中，{x,y,z}分别表示追逐航天器P，和逃逸航天器E在三个方向上的相对距离,和分别表示追逐航天器和逃逸航天器的机动控制量，T_P表示追逐航天器单位质量下的最大推力，T_E表示逃逸航天器单位质量下的最大推力；

(2)基于步骤1(1)中的动力学模型设计相应控制律

对于情形(a)：

基于步骤1(1)中(a)情况中的动力学模型，引入包括追踪星的质量m、转动惯量J_c和追踪星所受有界干扰力d_f及有界干扰力矩d_τ和目标星的转动惯量J_t在内的5种不确定性，根据李雅普诺夫稳定性原理，设计跟踪失效卫星的自适应控制律；

式中，a＝||J_t^-1||||J_t||，b＝||J_c^-1||||J_c||，和分别为对追踪星的质量m与转动惯量J_c的估计值，和分别为对追踪星所受的扰动d_f和扰动力矩d_τ最大值的估计值(d_f≥||d_f||，dτ≥||dτ||)，和分别表示对a和b的估计值，k₁、k₂、k₃和k₄表示待优化的控制参数；

自适应参数更新律如下：

其中，γ₁、γ₂、γ₃、γ₄、γ₅、γ₆表示自适应更新参数；

对于情形(b)：

在跟踪带机动的非合作目标时，首先考虑当目标不存在机动能力时，即时，设计目标无机动时的PD控制，再考虑当目标存在机动时，则该PD控制律进行修正，用以保证闭环系统稳定性，对于X通道，设得到X通道的自适应控制律

其中，k₁、k₂为待优化的控制参数；

同理，得到Y和Z通道的控制律和如下：