[发明专利]一种空地结合的移动边缘计算卸载优化方法

权利要求书

1.一种空地结合的移动边缘计算卸载优化方法，其特征在于：包括以下步骤：

S1，构建无人机辅助的移动边缘计算卸载模型，所述模型包括：若干个无线终端用户WT、若干个无人机UAV和一个移动边缘计算服务器群集的UAV辅助异构网络；

S2，根据通信节点与所述无人机UAV之间的通道状态和所述通信节点与移动边缘计算服务器之间的通道状态计算无线传输速率；

S3，计算所有设备节点任务的时延、能耗和带宽代价；

S4，将系统全局代价最小化问题转化为马尔科夫决策过程MDP，设计所述无人机辅助的移动边缘计算卸载模型的状态空间、动作空间和奖励函数、惩罚因子；

S5，基于Q学习方法构建神经网络模型，构建缓冲内存、智能体；

S6，基于缓冲内存训练所述神经网络模型，使其达到最优，即训练出获得最大平均累积奖励的最优的计算卸载决策，并验证模型的有效性。

2.根据权利要求1所述的一种空地结合的移动边缘计算卸载优化方法，其特征在于：所述S1中的无人机UAV通过自身装配的无线充电设备进行充电，所述无线充电设备通过太阳能进行充电。

3.根据权利要求1所述的一种空地结合的移动边缘计算卸载优化方法，其特征在于：所述无线传输速率的计算：所述S3中的带宽代价与带宽分配率和信道利用率有关。

4.根据权利要求1所述的一种空地结合的移动边缘计算卸载优化方法，其特征在于：所述S4中的惩罚因子设置为3。

5.根据权利要求1所述的一种空地结合的移动边缘计算卸载优化方法，其特征在于：所述S4中的MDP基于值迭代，所述值迭代的过程是需要所有状态的原始先验知识，且MDP需知道所有状态转移概率。

6.根据权利要求1所述的一种空地结合的移动边缘计算卸载优化方法，其特征在于：所述S5中的缓冲内存使所述神经网络模型在整个内存中随机采样数据进行训练。

7.根据权利要求1所述的一种空地结合的移动边缘计算卸载优化方法，其特征在于：所述S5中的神经网络模型包括主网络和目标网络，所述主网络和所述目标网络采用两层全连接结构。

8.根据权利要求7所述的一种空地结合的移动边缘计算卸载优化方法，其特征在于：所述目标网络是与主网络结构相同，且目标网络的参数并不在训练过程中实时更新，而是定期复制主网络中的参数。

9.根据权利要求1所述的一种空地结合的移动边缘计算卸载优化方法，其特征在于：所述S6中的神经网络的工作流程为：所述智能体在每个时隙中与环境做交互然后从所述状态空间中观察状态作为所述主网络的输入，然后经过主网络输出动作，此动作为预测的动作，根据即时奖励计算出损失函数，同时目标网络的输入为下一时隙的状态,输出为损失函数的最大的动作，再利用梯度下降法沿着最大梯度方向更新损失函数，从而逐步得到最优的策略。