[发明专利]一种基于多智能体强化学习的卫星观测分布式在线规划方法

权利要求书

1.一种基于多智能体强化学习的卫星观测分布式在线规划方法，所述方法包括：

步骤1)为卫星观测网络中的每个卫星建立星上执行网络；

步骤2)建立集中训练网络，通过多次地面仿真对所有星上执行网络进行集中训练；

步骤3)通过星地通信将训练好的星上执行网络分别上传到对应的卫星，或者在发射前将训练好的星上执行网络注入对应的卫星；

步骤4)当地面或者在轨卫星发现机遇观测目标时，向卫星观测网络广播观测任务；

步骤5)各卫星分别使用星上决策模型对是否接受该观测任务进行决策；根据各自的决策结果，控制卫星实施观测任务；

所述星上执行网络为状态注意度决策网络，包括：输入层、多头自注意力网络层、全连接层、乘积单元和SoftMax；

当星上执行网络设置在卫星s_j上时，所述输入层，将观测任务状态向量和其它卫星时间覆盖度向量进行拼接；得到与卫星数量N相同的观测状态向量i为观测任务的序号，j为观测卫星的序号，p_i为观测任务i所需的观测时长，ω_i为观测任务i的总观测收益；为观测卫星s_n对观测任务i的时间覆盖度；将N个观测状态向量输入到多头自注意力网络层中；

所述多头自注意力网络层，用于获取卫星观测网络中其它卫星对当前卫星s_j的注意力，按照当前卫星的序号j，提取当前卫星对应的二维决策向量并输出至全连接层；

所述全连接层，用于对二维决策向量处理后输出至乘法单元；

所述乘法单元，用于将全连接层的输出与卫星s_j的可用状态向量相乘，将结果输出至SoftMax；

所述SoftMax，用于对相乘结果进行过滤，输出最终的动作概率向量

2.根据权利要求1所述的基于多智能体强化学习的卫星观测分布式在线规划方法，其特征在于，每颗卫星的时间覆盖度的计算步骤包括：

在[t₀，t₁]时段内，若卫星s对目标o分别在时间窗口W^c＝[start^c，end^c]，t₀≤start^c＜end^c≤t₁，c＝1，...，C，中可见；C为时间窗口总数；卫星s的可见时段V(s，o，t₀，t₁)为：

V(s，o，t₀，t₁)＝{v|v∈[start^c，end^c]，c＝1，…，C}

定义可见时段V的模|V(s，o，t₀，t₁)|为各段可见窗口时长的和：

在[t₀，t₁]时段内，卫星s对目标o时间覆盖度C(s，o，t₀，t₁)为：

3.根据权利要求2所述的基于多智能体强化学习的卫星观测分布式在线规划方法，其特征在于，所述集中训练网络包括：第一全连接层、第二全连接层、多头自注意力层和第三全连接层；第一全连接层的输入为：N个观测卫星的状态向量，其中，观测卫星s_n的状态向量包括：可观察状态和其星上执行网络输出的动作概率向量第三全连接层的输出为状态动作值Q。

4.根据权利要求3所述的基于多智能体强化学习的卫星观测分布式在线规划方法，其特征在于，所述步骤2)具体包括：

从历史决策记录中随机采样历史记录，作为训练状态注意度决策网络的训练集；观测任务i的历史记录H_i中包含每次决策时各卫星的决策所利用状态信息、决策结果以及实际观测收益，决策结果包括接受和拒绝两个的概率，即：

式中，表示接收到观测任务i前，卫星s_j的可观察状态；表示卫星s_j执行决策动作后，改变后的可观察状态；为卫星s_j决策网络所计算出的两个动作的概率分布，R_i为实际收益；

根据集中训练网络的计算的当前状态与采取决策动作之后的总状态动作值函数值的变化与实际收益间的偏差，对集中训练网络的参数进行调整；网络训练的目标函数为：

式中，Q^θ为策略参数θ定义的状态动作值；为状态动作值的目标网络函数；该目标网络函数的参数周期性的根据状态动作值函数进行更新。