[发明专利]一种基于深度强化学习的多星自主任务分配方法

权利要求书

1.一种基于深度强化学习的多星自主任务分配方法，其特征在于，所述方法包括如下步骤：

步骤一：将地球轨道上由N个卫星组成的星群构建为主从结构星群，其中，主星负责接收任务和分配任务，从星接收主星分配的任务并负责执行；

步骤二：根据步骤一中的主从结构星群，地面建立深度强化学习多星任务自主分配模型，其中，深度强化学习多星任务自主分配模型包括5层神经网络；其中，第一层为输入层，第二层和第三层均为卷积层，第四层和第五层均为全连接层，最后一层是输出层；

步骤三：利用地面计算机对步骤二中的深度强化学习多星任务自主分配模型进行训练；

步骤四：将训练成熟的深度强化学习多星任务自主分配模型上传至主从结构星群中的主星，主星利用训练成熟的深度强化学习多星任务自主分配模型对接收到待分配的任务进行分配。

2.根据权利要求1所述的基于深度强化学习的多星自主任务分配方法，其特征在于：在步骤一中，主从结构星群的特征为：

主从结构星群中卫星分为主星和从星，主星通过星间通讯链路与其他卫星快速通信，主星通过星间通讯链路收集从星状态，发布任务；从星通过星间通信链路反馈自身状态，接收任务；

主星接收任务集合为其中MM_max，M_max为主星一次可分配任务数的上限；其中，m₁为待分配任务1，m₂为待分配任务2，m_M为待分配任务M，M为待分配任务数量；

所有任务存在时序关系，m₁最先执行，m_M最后执行；

所有任务要求在T时间内执行完毕，T被分为L个最小时间窗口T＝T₁∪T₂∪…∪T_L，每个最小时间窗口只能执行一个任务，而且每一任务都在最小时间窗口内执行完毕。

3.根据权利要求2所述的基于深度强化学习的多星自主任务分配方法，其特征在于：在步骤二中，深度强化学习多星任务自主分配模型的输入层为多星系统在当前任务集合下的状态矩阵集合。

4.根据权利要求3所述的基于深度强化学习的多星自主任务分配方法，其特征在于：多星系统在当前任务集合下的状态矩阵集合通过以下步骤得到：

(21)主星将任务发送给所有从星；

(22)从星计算所有任务在所有最小时间窗口的收益，组成收益矩阵；

(23)从星将收益矩阵反馈给主星，主星将收益矩阵重新组合得到每个任务对应的输入状态矩阵；

(24)根据每个任务对应的输入状态矩阵得到多星系统在当前任务集合下的状态矩阵集合X＝{B₁,B₂,…,B_M}。

5.根据权利要求4所述的基于深度强化学习的多星自主任务分配方法，其特征在于：在步骤二中，卷积层和全连接层均由一组参数向量W＝(w₁,w₂,…,w_P)^T表示；其中，w₁为权值1，w₂为权值2，w_P为权值P。

6.根据权利要求5所述的基于深度强化学习的多星自主任务分配方法，其特征在于：在步骤二中，深度强化学习多星任务自主分配模型的输出层为二维收益矩阵，其中，二维收益矩阵为：

其中，q_i,j表示将任务m₁分配给卫星s_i的时间窗口T_j时的收益，i＝1、2、…、N，j＝1、2、…、L。