[发明专利]一种面向空间轨道博弈的阶梯化智能生成方法

权利要求书

1.一种面向空间轨道博弈的阶梯化智能生成方法，其特征在于，包括：

根据空间轨道博弈任务，为红方航天器设置即时奖励函数，用于激励航天器智能决策模型生成；

为红方航天器设置策略网络及价值网络；

设置强化学习算法的超参数，用于辅助学习训练算法的收敛；

依据科目一的设计准则，搭建第一数字仿真环境；

依照红方即时奖励函数和第一仿真环境，开展航天器智能决策模型的学习训练，得到第一航天器决策模型；

依据科目二的设计准则，搭建第二数字仿真环境；

加载第一航天器决策模型，依照红方即时奖励函数和第二仿真环境，开展学习训练，得到第二航天器决策模型；

依据科目三的设计准则，搭建第三数字仿真环境；

加载第二航天器决策模型，依照红方即时奖励函数和第三数字仿真环境，开展学习训练，得到第三航天器决策模型；

利用第三航天器决策模型，根据从环境中获得的观测量，生成航天器速度增量进行轨道控制，进而开展空间轨道博弈任务。

2.根据权利要求1所述的阶梯化智能生成方法，其特征在于，策略网络根据航天器观测量，自主生成航天器速度增量进而实现轨道控制。

3.根据权利要求1所述的阶梯化智能生成方法，其特征在于，价值网络根据航天器观测量，输出当前状态下获得累积奖励的估计值。

4.根据权利要求1所述的阶梯化智能生成方法，其特征在于，超参数包括累积奖励折扣率、学习率、批处理数据量。

5.根据权利要求1所述的阶梯化智能生成方法，其特征在于，科目一的设计准则包括完整信息、轨道约束、单方规则体；科目二的设计准则包括完整信息、轨道约束、燃料约束、红蓝博弈；科目三的设计准则包括非完整信息、轨道约束、燃料约束、红蓝博弈。

6.根据权利要求5所述的阶梯化智能生成方法，其特征在于，轨道约束为：以航天器初始轨道位置为原点，x轴方向为轨道速度方向，z轴指向地心方向，y轴垂直于轨道平面，方向由右手螺旋定则确定，建立相对轨道坐标系；航天器通过脉冲推力进行轨道控制：

式中，代表航天器k时刻的xyz三轴速度；

[Δv_x(k) Δv_y(k) Δv_z(k)]^T代表航天器k时刻的xyz速度增量；

代表航天器轨道机动后的xyz三轴速度；

航天器相对轨道动力学如下式所述：

式中，[x(k) y(k) z(k)]^T代表航天器k时刻的xyz三轴位置；

[x(k+1) y(k+1) z(k+1)]^T代表航天器k+1时刻的xyz三轴位置；

代表航天器k+1时刻的xyz三轴速度；

n代表轨道角速度，T代表仿真步长，c_nT和s_nT分别为cos(nT)和sin(nT)的缩写。

7.根据权利要求5所述的阶梯化智能生成方法，其特征在于，燃料约束为：设置航天器燃料上限，当航天器累积速度增量超过该上限时，航天器不再具备机动能力，即：

[Δv_x(k) Δv_y(k) Δv_z(k)]^T代表航天器k时刻的xyz速度增量。

8.根据权利要求5所述的阶梯化智能生成方法，其特征在于，红蓝博弈为：在空间轨道博弈任务中，红蓝双方均采用深度强化学习方法智能生成的决策模型开展左右互搏式学习训练，实现红蓝双方智能的螺旋式提升。

9.根据权利要求8所述的阶梯化智能生成方法，其特征在于，在空间轨道博弈任务中，红方采用深度强化学习方法智能生成的决策模型开展学习训练，蓝方采用微分对策、Lambert变轨方法确定规则策略。

10.根据权利要求5所述的阶梯化智能生成方法，其特征在于，完整信息为：航天器可实时获得其他航天器的位置、速度信息；非完整信息为：设置航天器雷达探测距离限制；当其他航天器超出雷达探测范围，航天器仅能通过光学敏感器获得其方位信息位置与速度信息均缺失。