[发明专利]考虑弹跳的小天体表面定点附着轨迹规划方法

权利要求书

1.考虑弹跳的小天体表面定点附着轨迹规划方法，其特征在于：包括如下步骤，

步骤一、将探测器弹跳至目标位置的过程分为接近段和制动段两个阶段，针对每一阶段探测器碰撞前的姿态和角速度，采用深度确定性策略梯度算法，选取状态空间与动作空间，搭建探测器弹跳运动神经网络模型；

步骤二、针对探测器弹跳的接近段和制动段两个阶段的不同要求，分别设计奖赏函数，选取合适的训练参数进行模型训练和仿真测试，得到两个阶段的智能体A₁和A₂，用于给出两阶段姿态序列；

步骤三、智能体A₁和A₂基于探测器当前的状态，给出探测器每次碰撞前的姿态信息，在此基础上，设计滑模面，使用滑模控制方法求解控制力矩，使得探测器碰撞前的姿态调整到期望值，从而使探测器实现期望的弹跳轨迹，完成探测器到小天体表面目标点的精确附着；

步骤一的具体实现方法为，

探测器的动力学方程如下：

其中，m为探测器质量，g为小天体重力加速度，(x,y)为探测器位置，I为探测器转动惯量，2l为探测器边长，α为探测器的姿态角，ω为探测器的角速度，F_t为地面对探测器水平方向向作用力，F_n为地面对探测器竖直方向作用力，T_c为探测器控制力矩；

通过对探测器动力学方程的分析可知，探测器跳跃的高度和速度是由发生碰撞时地面给探测器的力决定的；由连续碰撞模型可知，探测器所受的水平方向力F_t和竖直方向力F_n是由碰撞时探测器的姿态角α和角速度ω决定的；因此，使用深度确定性策略梯度(DeepDeterministic Policy Gradient，DDPG)算法时，状态空间s选取为探测器的位置r和速度v，动作空间a选取为探测器碰撞时的姿态角α和角速度ω；在一次跳跃过程中，探测器在空中的位置和速度信息总量是不发生变化的，因此状态空间简化为碰撞前探测器达到的最高点位置信息(x_h,y_h)和水平速度信息v_xh；

s＝(x_h,y_h,v_xh) (2)

a＝(α,ω) (3)

搭建两组神经网络用于两阶段智能体A₁和A₂的训练；两组神经网络结构相同，包含Actor网络和Critic网络；

Actor网络用于根据当前状态选取执行的动作，包含两个隐藏层和一个输出层；Critic网络用于根据状态和动作来评估选取的动作，包含两个隐藏层和一个输出层，Actor网络给出的动作在第二个隐藏层处加入Critic网络；

步骤二的具体实现方法为，

步骤2.1针对接近段设计奖赏函数，训练得到智能体A₁，用于给出第一阶段姿态序列；

探测器在接近段由初始位置向目标点运动，直到探测器跳跃最高点的水平位置x在目标点x_f附近范围[x_f-Δx₁,x_f+Δx₁]内，同时水平速度大小降低到[0,v₁]内；

接近段探测器由初始位置向目标点运动，到达目标点附近同时将水平速度降低到一定范围，因此结束条件为：在一定跳跃次数内探测器跳跃最高点水平位置达到目标范围，即

|x-x_f|≤Δx₁ (4)

其中，x为探测器当前跳跃最高点水平位置；

接近段结束时，奖赏值设计方法为：完成任务时给予一个大值奖赏，同时对完成任务时的水平速度进行评估，速度越小，给予越大的奖赏，速度过大则给予负值奖赏，接近段结束奖赏值R为

其中，x和v_x分别为完成任务时跳跃最高点的位置横坐标和水平速度，R₁和R₂分别为评估位置和速度的大值奖赏；

此外，接近段过程中，考虑以下三个因素赋予奖赏值：

1)弹跳次数：设置每步的过程奖赏为负值，期望智能体通过最少的动作次数完成任务，同时该奖赏值与探测器与目标点当前的水平距离相关，距离越远，惩罚越大；每步的奖赏值为

其中，x_k为碰撞前探测器最高点位置横坐标，R₀为一个较小的正值，p为参数；

2)弹跳运动方向：若当前动作使得下次跳跃最高点的位置横坐标和水平速度的符号相反，则碰撞结果是探测器朝向目标点运动；运动方向奖赏值为

R＝-q·sgn(x_k+1-x_f)·sgn(v_x,k+1) (7)

其中，x_k+1和v_x,k+1分别为碰撞后探测器跳跃最高点的位置横坐标和水平速度，q为参数；

速度约束：如果在碰撞后速度过大，超过小天体表面的逃逸速度，则给出一个负值奖赏；

根据接近段奖赏函数，选取合适的训练参数进行模型训练和仿真测试，得到智能体A₁；

步骤2.2针对制动段设计奖赏函数，训练得到智能体A₂，用于给出第二阶段姿态序列；

探测器在制动段由目标点附近位置开始运动，直到探测器跳跃最高点的水平速度降低到v_f，同时水平位置在[x_f-Δx₂,x_f+Δx₂]内；

制动段探测器在目标点附近以弹跳方式进行制动，在消除剩余水平速度的同时将探测器的位置控制在一定范围内，因此结束条件为：在一定跳跃次数内探测器跳跃最高点水平速度减小到v_f，即

|v_x|≤v_f (8)

其中，v_x探测器当前跳跃最高点水平速度；

制动段结束时，奖赏值设计方法为：完成任务时给予一个大值奖赏，同时要对完成任务时的水平位置进行评估，探测器到目标点水平距离越小，给予越大的奖赏，距离过大则给予负值奖赏，制动段结束奖赏值为：

其中，x和v_x分别为完成任务时跳跃最高点的位置横坐标和水平速度，R₃和R₄分别为评估速度和位置的大值奖赏；

此外，制动段段过程中，考虑以下三个因素赋予奖赏值：

1)弹跳次数：设置每步的过程奖赏为负值，期望智能体通过最少的动作次数完成任务，同时该奖赏值与探测器当前的水平速度相关，速度越大，惩罚越大；每步的奖赏值为

R＝-R₀-p·|v_x,k| (10)

其中，v_x,k为探测器当前的水平速度；

2)弹跳运动方向：若当前动作使得下次跳跃最高点的位置横坐标和水平速度的符号相反，则碰撞结果是探测器朝向目标点运动；运动方向奖赏值为

R＝-q·sgn(x_k+1-x_f)·sgn(v_x,k+1) (11)

3)高度约束：如果在碰撞后跳跃最高点过高，则给出一个负值奖赏；

根据制动段奖赏函数，选取合适的训练参数进行模型训练和仿真测试，得到智能体A₂；

步骤三的具体实现方法为，

在一次跳跃中，智能体由碰撞前最高点的状态可以给出本次碰撞点处探测器的姿态角α_p和角速度ω_p；从碰撞前最高点到碰撞点过程中，使用二阶滑模控制调整探测器姿态，使其在碰撞点处达到智能体给出的姿态角和角速度；

根据公式(12)计算出碰撞点探测器的质心高度y_p：

探测器在空中做自由落体运动，因此可以由最高点高度y_h和碰撞点高度y_p计算出最高点到碰撞点的时间t_p：

定义一阶滑模面s₁：

s₁＝α-α_p-ω_p(t-t_p) (14)

其中，α为当前时刻姿态角；

对s₁求一阶偏导得：

其中，ω为当前时刻角速度；

定义二阶滑模面s₂：

其中，Λ为参数；

对s₂求一阶偏导得：

定义s₂的趋近律如下：

其中，k为参数，sat(s)为饱和函数：

由姿态动力学方程可得，碰撞前的控制力矩T_c1为

在碰撞结束后，使用一阶滑模控制，将姿态角稳定在固定值0°，以便于下次碰撞前的姿态控制；定义滑模面s₃及其趋近律如下：

s₃＝α+ω (21)

其中，k₁和k₂为参数；

由姿态动力学方程可得，碰撞后控制力矩T_c2为

T_c2＝I·[k₁·s₃+k₂·sat(s₃)-ω] (23)

通过滑模控制使碰撞时探测器姿态调整为智能体给出的姿态值，从而使探测器能按照深度确定性策略梯度DDPG算法规划的方式进行跳跃，实现探测器到小天体表面目标点的精确附着。