[发明专利]一种基于资源退出场景的无人机服务器任务卸载调度方法

权利要求书

1.一种基于资源退出场景的无人机服务器任务卸载调度方法，其特征在于，假设无人机集群I＝{i}中的一台无人机开始返回地面并最终退出服务，其总时长为T，令T＝K·Δt，其中，Δt为时隙长度，K为总时隙数，地面用户集合为J＝{j}，用户j在T时长内持续产生任务单元卸载请求，具体包括以下步骤：

101、建立马尔科夫决策过程MDP数学模型，构造状态向量S_k、动作向量A_k、奖励函数R_k，其中，k为时隙数，将无人机集群控制器作为智能体，根据近端策略优化算法PPO建立无人机集群控制策略网络π_θ，其中，θ为经过训练的神经网络参数向量；

102、无人机i^*发出返航指令，令时隙k＝0；

103、令k＝k+1，如果k≤K，智能体将当前时隙k的状态向量S_k输入策略网络π_θ，获得动作向量A_k，同时，根据集合J中每一用户j的平均任务单元卸载时延对其服务器资源分配变量集合进行决策，跳转到步骤104，否则，跳转到步骤105；

104、根据动作向量A_k、服务器资源分配变量集合执行无人机集群移动控制及任务卸载，并返回计算结果，获得状态向量S_k+1，根据奖励函数评价智能体的决策，计算相应的奖励值R_k，将{S_k,A_k,R_k,S_k+1}保存至向量集B中，跳转到步骤103；

105、无人机i^*完成返航，剩余滞空无人机完成部署，根据向量集B更新神经网络参数向量θ，进一步优化策略网络π_θ，算法结束；

所述步骤101中构建状态向量S_k，动作向量A_k，奖励函数R_k，分别如公式(1)、(2)、(3)所示：

A_k＝{μ_i} (2)

公式(1)中，表示无人机i的状态向量，表示无人机i在时隙k的坐标，非返回无人机高度固定为令C_i为无人机i的服务器资源总量，表示无人机i已分配给用户的服务器资源，其中计算一个任务单元需要占用一个单位的服务器资源；表示用户j的状态向量，x_j、y_j、h_j表示地面用户j的坐标，其高度h_j＝0，表示用户j在时隙k的服务器资源分配变量集合，其中，表示用户j与无人机i建立连接，且无人机i为其分配了大小的服务器资源，表示用户j未与无人机i建立连接，表示用户j在时隙k的平均任务单元卸载时延，如公式(4)所示，其中，表示用户j在时隙u的服务器资源分配变量，u∈[1,k]；

公式(2)中，μ_i∈{0,1,...,8}表示无人机i的飞行控制决策变量，其中，0表示无人机i停止运动，{1,...,8}分别表示8个水平运动方向；

公式(3)中，Λ_i,j表示奖励函数的正反馈函数，如公式(5)所示，λ表示权重参数，Γ_j表示奖励函数的负反馈函数，如公式(6)所示：

公式(5)中，表示无人机i与用户j的距离，d_max表示无人机的最大通信距离，公式(6)中，τ_max表示单个任务单元的卸载容忍时延；

所述步骤103中根据集合J中每一用户j的平均任务单元卸载时延对其服务器资源分配变量集合进行决策的步骤为：

1)令集合Q＝J，将Q中元素按的大小降序排列；

2)如果取出Q中的第一个元素j，根据时延约束τ_max，计算跳转到步骤3)，否则，跳转到步骤4)；

3)如果将对应的用户j加入Q_i队列尾部，令再将J-{j}中所有用户对应的置零，其中，α、β、γ为权重参数，表示无人机i的预估负载，跳转到步骤2)，否则，跳转到步骤2)；

4)对每一无人机i∈I，依次为Q_i中的用户分配大小的服务器资源；

5)如果且其中，为任务卸载时延，重复遍历Q_i，每次仅分配一个单位服务器资源给相应的用户，令跳转到步骤5)，否则，返回