[发明专利]基于三重学习器的无人机辅助移动边缘计算强化学习方法

权利要求书

1.一种基于三重学习器的无人机辅助移动边缘计算强化学习方法，其特征在于：包括如下步骤：

(1)通过无人机设置边缘服务器，构建移动边缘计算网络，以网格形式部署无人机，所述移动边缘计算网络还包括物联网设备，物联网设备与无人机建立通信，用于物联网设备卸载计算任务，无人机接收到物联网设备请求的计算任务后，进行任务计算并将结果发送给物联网设备；

(2)在移动边缘计算网络中建立无人机之间相互协同工作机制，针对无人机机动能力、存储空间和能量建立轨迹规划、应用部署和能量更新在内的多智能体随机博弈，以所有无人机的能量效率最大为目标，并转化对应在每个无人机中设置三个相关的基于q学习的学习器来寻找三个博弈的均衡，包括轨迹学习器、应用学习器和能量学习器；

所述的多智能体随机博弈中，每个无人机在每个时隙单独选择自己的行动，包括所有无人机与其他无人机合作以达到相同的目标，且通过有限状态马尔可夫决策过程来描述各无人机的博弈过程；

(3)在每个时隙，位于目标区域的无人机根据所有无人机的状态信息决定是否返回地面，对应如下过程：

若不返回地面，将选择一个方向，以恒定速度v从一个网格的中心移动到另一个相邻网格的中心，然后悬停在网格中心，在t时段悬停时接收并计算请求的任务；

若返回地面，无人机将在时隙t内更新能量和更新应用的放置，更新能量和更新应用的位置后，无人机返回目标区域，继续为物联网设备提供边缘计算服务；

轨迹学习器学习在每个时隙选择移动的方向，应用学习器学习在每个时隙选择更新应用放置的策略，能量学习器学习在每个时隙选择是否返回充电站更新能量。

2.根据权利要求1所述的基于三重学习器的无人机辅助移动边缘计算强化学习方法，其特征在于：步骤(2)在寻求三个博弈均衡的计算中，无人机能量效率最大化的目标函数数学表型形式如下：

约束条件：

φ(t)∈[0,1],t≥0 (d)

|U_m(t)-I_m(t)|²ε_m(t)＝q² (g)

其中约束(a)-(c)为二元变量。约束条件(e)表示传输时间和计算时间之和不能大于悬停时间，约束条件(g)和(h)表明，无人机在每个时隙中，如果不更新能量，只能从一个网格的中心移动到另一个相邻网格的中心。

3.根据权利要求1所述的基于三重学习器的无人机辅助移动边缘计算强化学习方法，其特征在于：所述移动边缘计算系统中，有任务请求的物联网设备会将任务向位于同一网格内的无人机请求卸载；

所述方法对于单个物联网设备与无人机之间的计算任务卸载模型，包括如下计算：

物联网设备n向无人机m卸载任务的瞬时速率表达形式为：

其中γ_m,n(t)为时隙t的信号和干扰噪声比，ζ_m,n(t)∈{0,1}表示无人机m和物联网设备n是否在t时点位于同一网格上，其中ζ_m,n(t)＝1表示无人机m和物联网设备n在t时点位于同一网格上，否则ζ_m,n(t)＝0；o_n(t)∈{0,1}表示为物联网设备n是否在t时隙有卸载任务请求的向量，其中o_n(t)＝1表示物联网设备n在t时隙有卸载任务请求，否则o_n(t)＝0；在时隙t，物联网设备n请求的任务是v_n(t)∈{v_n,1(t),v_n,2(t),...,v_n,C(t)}，其中C为任务类型的数量；放置在无人机m中的应用w_m(t)∈{w_m,1(t),w_m,2(t),...,w_m,S(t)}，其中S是任务类型的数量；B为无人机和物联网设备之间的无线信道带宽，单位为Hz；

物联网设备n卸载到无人机m的时间为数学形式如下：

其中D为每个任务的大小，在所考虑的无人机网络中，假设所有无人机都可以获取无人机的信息，包括无人机的位置和放置应用。