[发明专利]一种基于深度强化学习的无人机辅助资源分配方法

权利要求书

1.一种基于深度强化学习的无人机辅助资源分配方法，其特征在于，包括以下步骤：

S1：构建深度强化学习模型，得到神经网络，并初始化神经网络参数；

S2：获取智能设备产生的计算任务信息并整合成系统状态S_t；

其中，t表示决策时隙；

S3：输入系统状态S_t对神经网络进行训练，得到系统动作A_t；

S4：根据系统动作A_t计算得到相应的总开销C_total；

S5：根据总开销C_total训练神经网络，得到使总开销最小化的系统动作；

S6：完成神经网络的训练，按照得到的使总开销最小化的系统动作进行资源分配。

2.根据权利要求1所述的一种基于深度强化学习的无人机辅助资源分配方法，其特征在于，初始化的神经网络参数包括权重、偏置、学习率、神经网络的层数。

3.根据权利要求1所述的一种基于深度强化学习的无人机辅助资源分配方法，其特征在于，系统动作A_t包括智能设备中的二进制卸载决策、小基站中充电资源和计算资源的分配决策、无人机中计算资源的分配决策。

4.根据权利要求3所述的一种基于深度强化学习的无人机辅助资源分配方法，其特征在于，智能设备的二进制卸载决策采用二进制卸载变量α_i∈(0,1)表示；其中，α_i＝0表示选择在本地执行计算任务，α_i＝1则表示选择将计算任务整体卸载到无人机上进行处理。

5.根据权利要求4所述的一种基于深度强化学习的无人机辅助资源分配方法，其特征在于，在步骤S4中，

设第i个智能设备本地计算的执行时间为：

第i个智能设备卸载计算的执行时间为：

第i个智能设备本地计算的能量消耗为：

第i个智能设备卸载计算的能量消耗为：

第i个智能设备从小基站获取的能量为：

则第i个智能设备本地计算的成本为：

第i个智能设备卸载计算的成本为：

第i个智能设备从小基站获取的能量成本为：

因此，总开销为：

其中，f_bs,i是小基站分配给智能设备i的计算资源，d_i表示智能设备的计算任务数据量大小、l_i表示执行计算任务所需要的计算资源数，智能设备i的数据上传速率为B为无线信道带宽，p_i是智能设备i的传输功率，h_i是分配给智能设备i的无线信道增益，N₀是噪声功率；智能设备i上传数据到无人机的上传速率h_i,u是智能设备与无人机之间的信道增益，f_i是无人机分配给智能设备的计算资源，ρ是小基站的能耗密度，l_iζ是向无人机购买的计算资源的成本，ζ是单位周期价格，F是无人机的计算资源总数；η表示能量收集的效率(0η1)，P_bs表示的是小基站的传输功率，T_i是小基站为智能设备充电服务的时间，h_i，bs表示小基站与某一个智能设备之间的信道增益，λ为单位能耗价格。