[发明专利]基于TD3算法的计算卸载分配方法和装置

说明书

本发明公开了一种基于TD3算法的计算卸载分配方法和装置，包括步骤：获取计算卸载系统状态，将计算卸载系统状态输入预先训练好的计算卸载TD3网络的演员当前网络，得到计算卸载比例和计算卸载发射功率；所述计算卸载系统状态包括：物联网设备到边缘服务器的信道增益、物联网设备的电池电量和可收集的可再生能源能量。本发明通过深度强化学习方法，确定设备最优卸载策略，并且利用能量收集降低智能设备能耗。

技术领域

本发明属于移动通信与深度强化学习领域，具体涉及一种基于TD3算法的计算卸载分配方法和装置。

背景技术

在过去的几年里，计算机视觉、自然语言处理、增强现实等新兴的技术的出现，都要求大量的计算任务和尽可能低的时延，这往往超过了现有IoT(物联网)设备的计算能力。计算卸载被认为是解决这一问题的有效方法之一。计算卸载是指将计算任务卸载到边缘网络的高性能服务器上处理，再把处理结果从代理服务器上取回，从而达到降低计算时延的方法。

其次，对于IoT设备的电量供应问题，特别是在偏远地区和危险地区提供可靠和稳定的电网电力供应成本极高，甚至不可行。但是随着新能源收集技术的发展，从热、风能、太阳能等可再生能源中获取电能被视为该领域边缘系统的主要甚至唯一的电能供应。

强化学习作为机器学习的一个重要分支，其中智能代理与环境进行交互，可通过环境控制到获得最大奖励值来优化动作。计算卸载模型通常可以描述为马尔科夫过程(MDP，Markov Decision Processes)，使用强化学习处理计算卸载具有广泛的应用前景。相比深度学习对高维信息具有较强的感知能力，强化学习对高维信息感知能力较差。因此，深度强化学习将深度学习与强化学习结合起来为解决复杂的决策感知问题提供了有效方案。目前基于深度强化学习的计算卸载方法存在通信时延和能量消耗过大问题，这是因为文献中的深度强化学习对状态动作值的过高估计导致计算卸载决策不合理以及算法不稳定，例如卸载比例、执行卸载的发射功率不合理。

双延迟深度确定性策略梯度算法(TD3，Twin Delayed Deep Deterministicpolicy gradient algorithm)是在深度确定性策略梯度算法(DDPG,Deep Deterministicpolicy gradient)基础上提出的优化算法。TD3算法是一种面向连续动作空间基于演员—批评家架构的深度强化学习算法。演员网络根据系统状态做出动作决策，批评家网络估计这一状态动作对的价值，价值指导动作决策，不断迭代优化这一过程。但在其他深度强化学习算法包括DDPG中，批评家网络会过高地估计动作状态值，导致动作决策次优等问题。TD3算法中采用两套批评家网络—批评家网络1和批评家网络2，最终的状态动作价值采取两者的较小值，从而抑制过估计，实现最优动作决策。在这一过程中，通过更新演员网络和批评家网络的参数，演员网络不断迭代，优化不同状态下的动作决策，批评家网络也不断迭代，完善每个状态下选择每一个动作的价值。

发明内容

本发明目的：本发明提供了一种基于TD3算法的计算卸载分配方法和装置，解决了现有计算卸载存在的卸载比例、执行卸载的发射功率不合理问题。

本发明提供的技术方案如下：一种基于TD3算法的计算卸载分配方法，包括步骤：

获取计算卸载系统状态，将计算卸载系统状态输入预先训练好的计算卸载TD3网络的演员当前网络，得到计算卸载比例和计算卸载发射功率；

所述计算卸载系统状态包括：物联网设备到边缘服务器的信道增益、物联网设备的电池电量和可收集的可再生能源能量。

进一步的，在t+1时隙，物联网设备的电池电量b^t+1表达为：

为本地物联网设备执行计算任务需要的能量消耗，为：