[发明专利]基于多无人机协作的边缘网络计算资源动态优化方法

权利要求书

1.一种基于多无人机协作的边缘网络计算资源动态优化方法，其特征在于，包括以下步骤：

101、基于深度确定性策略梯度算法建立深度强化学习模型，主要包括无人机集群动作发生模块、无人机集群动作评估模块、无人机集群动作收益模块、任务调度和计算资源分配模块及经验缓存池；

102、将系统时间离散为K个时隙，构造无人机集群与用户状态向量s_k，无人机集群三维动作向量a_k，无人机集群动作收益函数r_k，初始化时隙数k＝0；

103、令k＝k+1，如果k≤K，通过无人机集群任务调度和计算资源分配模块获得用户集I的任务卸载决策变量集其中，为k时隙用户i卸载的任务量，跳转到步骤104，否则，转到步骤106；

104、根据执行用户i的任务卸载，通过无人机集群动作收益模块获得相应的奖励r_k，通过无人机集群动作发生模块和随机噪声模块获得k时隙无人机集群动作向量a_k并执行该动作，更新无人机集群与用户状态向量s_k得到s_k+1，将[s_k,a_k,r_k,s_k+1]存入经验缓存池中；

105、从经验缓存池中随机抽样获得Mini-batch样本集，并导入无人机集群动作发生模块和无人机集群动作评估模块中进行学习训练，跳转到步骤103；

106、算法结束。

2.根据权利要求1所述的一种基于多无人机协作的边缘网络计算资源动态优化方法，其特征在于，所述步骤101中基于深度确定性策略梯度算法建立深度强化学习模型，主要包括无人机集群动作发生模块、无人机集群动作评估模块、无人机集群动作收益模块、任务调度和计算资源分配模块及经验缓存池，具体包括：

无人机集群动作发生模块主要用于生成无人机集群与用户当前状态s_k下无人机集群三维动作，然后再导入随机噪声模块中，得到无人机集群最终执行动作a_k，其中随机噪声模块主要用于加大对周边空域的探索；无人机动作评估模块主要用于生成s_k下，执行无人机集群三维动作a_k的动作评估值Q；无人机集群动作收益模块主要包含用于在完成k时隙的卸载任务后，生成无人机集群在k时隙的动作收益值r_k；任务调度和计算资源分配模块用于生成k时隙用户卸载策略，获得任务卸载决策变量集当无人机集群执行a_k动作后，无人机集群与用户状态由s_k转移到s_k+1，将k时隙经验样本[s_k,a_k,r_k,s_k+1]存入经验缓存池中。

3.根据权利要求1所述的一种基于多无人机协作的边缘网络计算资源动态优化方法，其特征在于，所述步骤102中构造无人机集群与用户状态向量s_k，无人机集群三维动作向量a_k，无人机集群动作收益函数r_k，分别如公式(1)、(2)、(3)所示：

公式(1)中，表示无人机j在k时隙的三维坐标位置，表示用户i在k时隙的三维坐标位置；公式(2)中，表示无人机j在k时隙的水平运动方向，表示无人机j在k时隙的水平运动距离，表示无人机j在k时隙的垂直运动距离；公式(3)中，ε表示无人机动作奖励函数权重因子，ω∈(0,1)，Δt表示时隙大小，表示k时隙用户i的平均单位任务时延，如公式(4)所示，表示k时隙用户i可以进行任务卸载，否则如公式(5)所示：

公式(4)中，表示用户i与无人机j的连接状态，若用户i在k时隙与无人机j关联，则否则用户i在k时隙最多关联到一架无人机，即表示用户i在k时隙卸载的任务量。