[发明专利]环境不确定遥感卫星网络下的智能资源联合调度方法

权利要求书

1.一种环境不确定遥感卫星网络下的智能资源联合调度方法，其特征在于，建立的网络模型适用于遥感卫星网络所处环境和其资源调度场景，通过强化学习避免了直接求解高复杂度的规划问题和状态空间连续、无限的难题，包括有如下步骤：

(1)建立环境不确定的遥感卫星网络模型：首先确定遥感卫星网络规模及参数，包括遥感卫星和地面站的个数及位置，接着定义遥感卫星网络状态集S、动作集A、奖励R、动作价值函数所述状态集S＝{B×D×H×E^H}，在第i时隙开始时刻，遥感卫星网络的状态S_i包括电池现有电量B_i，数据缓冲区现有数据量D_i，信道参数H_i和吸收太阳能量四部分；根据ITU-R P.618-13、ITU-R P.838和ITU-R P.839建议书的标准，建立星地、星间链路的动态信道模型，仿真获得信道参数H_i；考虑卫星运转的轨道特性，建立动态能量收集模型，仿真获得吸收太阳能量所述动作集A＝{A_r×A_t}包括接收功率{A_r}和发送功率{A_t}两部分，可分别表示为和其中，δ表示步长，0表示不接收或不发送数据，P^MAX表示功率最大值，当传输链路为星地链路时，否则，所述奖励R以卫星在时隙初始时刻发送的数据量表示；所述动作价值函数的含义是智能体以策略π为指导，在状态S_i下，执行动作P_i后，获得回报的期望；完成环境不确定的遥感卫星网络模型的建立；

(2)产生环境参数的数据：通过STK软件仿真遥感卫星网络模型导出一个拓扑周期内环境参数的原始数据，并通过MATLAB软件处理以上原始数据，获得链路通断、链路连接时长、遥感卫星的位置以及每时隙位于阳面时长，上述数据作为智能资源联合调度方法的环境参数数据；

(3)初始化智能资源联合调度方法所需参数：智能资源联合调度方法所需参数包括有，一周期的时隙数T，星载电池容量B_max，电池容量门限B_min，数据存储器容量D_max，静态功耗P_cons，单位时隙长度τ，探索率ε，Critic网络参数ω_critic，Actor网络参数ω_actor，学习率α，Critic网络参数的更新间隔T_copy，Actor网络参数的更新间隔T_train，训练总时隙数I，当前时隙数i，折扣因子γ；

(4)指导卫星进行功率分配：观察状态S_i，基于每一可行动作，通过定义反映遥感卫星工作特性及环境影响的六维特征函数，提取状态、动作对的特征向量f_i(S_i,P_i)，结合Actor网络参数ω_actor，使用ε-greedy策略在可行动作集中选择一动作P_i作为当前时隙的功率分配方案，指导卫星进行功率分配；

(5)遥感卫星网络状态预转移：计算环境不确定的遥感卫星网络模型中的奖励R_i，判断是否完成迭代：i＝I，若是，则转至步骤(10)，否则，进行下一步，执行新一轮迭代；

(6)指导卫星进行功率预分配：观察预状态S′_i，基于每一可行动作，通过定义反映遥感卫星工作特性及环境影响的六维特征函数，提取状态、动作对的特征向量f′_i(S′_i,P_i′)，结合Actor网络参数ω_actor，使用ε-greedy策略在可行动作集中选择一动作P_i′作为下一时隙预选的功率分配方案，并把样本(f_i,P_i,R_i,f_i′,P_i′)放入经验存储器，用于后续网络参数更新；

(7)Critic网络参数ω_critic更新判断：对当前时隙数i和Critic网络参数的更新间隔T_copy进行取余运算，判断取余运算结果是否满足i％T_copy＝0，若是，则按照ω_critic＝ω_actor的规则来更新Critic网络参数ω_critic，进行下一步，否则，直接进行下一步；

(8)Actor网络参数ω_actor更新判断：对当前时隙数i和Actor网络参数的更新间隔T_train进行取余运算，判断取余运算结果是否满足i％T_train＝0，若是，则根据梯度下降策略来更新Actor网络参数ω_actor，进行下一步，否则，直接进行下一步；

(9)更新遥感卫星网络的状态、动作和当前时隙数：S_i+1＝S′_i，P_i+1＝P_i′，i＝i+1，完成一次迭代，接着转至步骤(5)；

(10)得到指导联合调度的网络参数ω_critic：输出通过环境不确定遥感卫星网络下的智能资源联合调度方法训练得到的网络参数ω_critic，环境不确定遥感卫星网络下的智能资源联合调度方法结束；在实际应用中，基于此参数，根据greedy策略，即ε＝0下的ε-greedy策略，产生资源联合调度方案。