[发明专利]基于无人机集群的边缘网络自适应部署方法

权利要求书

1.一种基于无人机集群的边缘网络自适应部署方法，其特征在于，具体包括以下步骤：

101、设立无人机集群I＝{i}，地面用户集J＝{j}，i、j分别表示无人机i和用户j，将无人机集群巡航时间离散为时隙，设立时隙变量k，构造无人机集群与用户状态向量s_k、无人机集群动作向量a_k、无人机集群动作收益函数r_k，其中，s_k，a_k，r_k均随时隙数k的增加发生相应的转移和变化，初始化时隙变量k＝0；

102、在无人机集群控制智能体中，基于双延时深度确定性策略梯度算法思想构建深度强化学习模型，包括无人机集群巡航动作发生模块、无人机集群动作评估模块、无人机集群动作扰动模块、环境参数采集模块、无人机集群机载资源分配与任务卸载调度模块、无人机集群动作收益模块、经验样本存储池、样本集随机抽样模块；

103、令k＝k+1，如果无人机集群I在连续n个时隙内未发生三维坐标位置变化，跳转到步骤106，否则，根据每架无人机i的有效覆盖范围及剩余可用计算资源，确定每架无人机i的用户对象集J_i，从而获得无人机集群I的用户对象集{J_i}，通过无人机集群机载资源分配与任务卸载调度模块，获得用户集J的任务卸载决策变量集其中为k时隙用户j卸载到无人机i的任务量，跳转到104；

104、根据执行用户任务卸载，通过无人机集群动作收益模块获得相应的收益r_k，通过无人机集群巡航动作发生模块和无人机集群动作扰动模块获得k时隙无人机集群三维动作向量a_k，根据k时隙无人机集群与用户状态向量s_k和无人机集群三维动作向量a_k计算获得s_k+1，将[s_k,a_k,r_k,s_k+1]存入经验样本存储池；

105、通过样本集随机抽样模块从经验样本存储池中获得随机样本集X，并将X分别输入无人机集群巡航动作发生模块、无人机集群动作评估模块进行学习训练，跳转到103；

106、算法结束；

所述步骤101中构造k时隙无人机集群与用户状态向量s_k、无人机集群三维动作向量a_k、无人机集群动作收益函数r_k，分别如公式(1)、(2)、(3)所示：

公式(1)中，表示无人机i在时隙k的三维坐标位置，表示用户j在时隙k的二维坐标位置；公式(2)中，表示无人机i在k时隙的水平运动方向，表示无人机i在k时隙的垂直运动距离；公式(3)中，ω表示无人机动作奖励函数权重因子，ω∈(0,1)，表示用户j在k时隙能够进行任务卸载，否则，如公式(4)所示，表示k时隙用户j的平均单位任务时延，如公式(5)所示：

公式(4)中，表示用户j与无人机i的连接状态，若用户j在k时隙将任务卸载到无人机i执行，则否则公式(5)中，Δt表示时隙大小，ξ表示时隙，ξ∈[1,k]；

所述步骤103中确定每架无人机i的用户对象集J_i，从而获得无人机集群I的用户对象集{J_i}，通过无人机集群机载资源分配与任务卸载调度模块，获得用户集J的任务卸载决策变量集的方法如下：

1)将J中所有用户j放入集合V中，根据对集合V降序排列；

2)如果依次针对V中的每一个用户j，根据用户j可接入的无人机剩余可用计算资源和用户j所需的计算资源，通过多属性排序法分配无人机i的计算资源给用户j，令把V中用户j移入无人机i的用户对象集J_i，并根据降序排列，跳转到2)，否则，跳转到3)；

3)对集合I中的无人机，依次为J_i中的每个用户j分配最小单位计算资源并更新直到得到用户j的计算资源分配集合并根据用户j的任务卸载时延，计算用户j卸载到无人机i的任务量最终得到用户集J的任务卸载决策变量集