[发明专利]一种基于深度强化学习的计算卸载和资源分配方法

说明书

本发明公开一种基于深度强化学习的计算卸载和资源分配方法，利用深度强化学习方法，即双深度Q学习方法去处理全局代价最小化问题，本发明方法在时变的通道状态和随机任务到达环境下，能够得到最优的计算卸载和资源分配策略，并且利用深度神经网络作为价值函数的优化器，能够降低高维状态空间引起的维度灾难和提高收敛速度。

技术领域

本发明属于无线网络通信领域，尤其涉及一种基于深度强化学习的计算卸载和资源分配方法。

背景技术

随着无线网络技术的发展，尤其是5G的发展和6G的产生，在无线网络通信中，如何满足更高的通信和计算的服务质量(QoS)变得越来越重要。尽管无线设备(WD)的计算能力随着其处理器和制造工艺标准的提高而取得了长足进步，但是面对大量计算密集型或时延敏感型计算任务时，其处理能力仍不足以满足QoS。随着WD产生的计算数据呈指数级增长且具有严格的截止时间限制，WD的电池容量和资源限制仍然是瓶颈。因此，如何满足计算需求是一个关键挑战。在早期，利用具有大量计算资源的云计算技术是一种解决方案。早期，存在云计算中有一些关于计算任务卸载和资源分配的工作。但是，云计算服务器覆盖的区域很大，并且其位置与WD相距遥远，需要处理计算任务。这样，如何提高计算数据的传输时间和回程时间是一个亟待解决的难题。新兴的移动边缘计算(MEC)技术是云计算和雾计算的结合。通常，MEC位于更靠近WD的位置，并且具有比WD更大的计算能力。这样，MEC不仅可以解决云计算的传输时延问题，而且可以解决WD资源受限的问题。WD可以在截止期限约束下将计算任务与宏基站转移到MEC服务器。但是，在带宽资源约束下，应考虑MEC与WD之间的信道状态满足无线传输要求。当前，大部分基于MEC的计算卸载技术都采用二值卸载方案，即要么本地处理任务要么将任务卸载到MEC服务器上处理。当任务较大或可分时，二值卸载方案极大地降低了卸载效率，关于资源分配方案，大部分技术考虑了MEC服务器端有关计算资源的分配，但是很少有应用考虑了WD和MEC服务器之间的带宽资源分配，并且大部分关于资源分配的应用都是假设通道状态是固定的。但是在实际应用场景中，WD和MEC服务器之间的通道状态是时变的，并且WD产生的任务也是不固定的。

发明内容

考虑到时变的信道状态和随机到达的任务，本发明提出了一种基于深度强化学习的部分计算卸载和资源分配的优化方案，以共同优化延迟，能耗和带宽约束，获得最低的总成本。

为实现上述目的，本发明采用如下的技术方案：

一种基于深度强化学习的计算卸载和资源分配方法，包括以下步骤：

步骤1、初始化计算卸载模型，将周期e和时隙t设置为0；其中，所述计算卸载模型由多个无线设备、基站和移动边缘服务器组成，无线设备在每个时隙t内随机产生任务，将所述任务通过基站卸载到移动边缘服务器上执行；

步骤2、初始化主神经网络参数θ和目标神经网络参数θ’，初始化状态s；其中，所述状态s包括：每个时隙t内，每个无线设备与基站之间的时变通道状态、每个无线设备与基站之间的信噪比和无线设备产生的任务；

步骤3、智能体与环境做互动，根据贪婪策略执行动作a，获得奖励r，并收集下一状态s’；

步骤4、如果样本缓冲池溢出，则将四元组s,a,r,s’顺序存放入样本缓冲池M；否则，将s,a,r,s’随机存放入样本缓冲池，替换样本；

步骤5、随机从样本池中采样m个样本，进行训练；同时计算目标函数和损失函数；

步骤6、利用梯度下降法更新主网络参数θ，同时到达预设周期进行参数复制，即θ’←θ；

步骤7、如果得到最优策略且当前周期e小于最大周期E_max，则返回步骤1，并设置e←e+1；如果没有得到最优策略，则返回步骤2，并设置t←t+1。

进一步，步骤2中，所述时变通道状态H_m,w(t)采用如下公式表示：